[論文レビュー] Identifiability and Unmixing of Latent Parse Trees

Daniel Hsu, Sham M. Kakade+1 more|arXiv (Cornell University)|Jun 14, 2012

Natural Language Processing Techniques参考文献 28被引用数 23

ひとこと要約

本稿では、数値的ヤコビアンランクテストを用いて特定の潜在的パースツリー・モデルの同定可能性を確立し、変動するツリー構造に対しても効率的なパrameter推定を可能にする新しいアンミキシング技術を導入している。簡略化されたPCFGおよび従来のPCFGとは異なる依存モデルが同定可能であることを証明しており、標準的なPCFGは同定不可能である。また、事前にツリーのアノテーションが与えられていない状態でも、パラメータを回復するためのスペクトルベースのアルゴリズムを提供している。

ABSTRACT

This paper explores unsupervised learning of parsing models along two directions. First, which models are identifiable from infinite data? We use a general technique for numerically checking identifiability based on the rank of a Jacobian matrix, and apply it to several standard constituency and dependency parsing models. Second, for identifiable models, how do we estimate the parameters efficiently? EM suffers from local optima, while recent work using spectral methods cannot be directly applied since the topology of the parse tree varies across sentences. We develop a strategy, unmixing, which deals with this additional complexity for restricted classes of parsing models.

研究の動機と目的

• 無限のデータから得られる生成的パースィングモデルのうち、特に文ごとに異なるパースツリー構造をとるモデルが同定可能かどうかを特定すること。
• ツリー構造が観測不能で文ごとに変化するモデルにおけるパrameter推定の課題に対処すること。
• EMの局所最適解を避けることができる、計算的に効率的な教師なしパースィングモデル学習手法の開発。
• 従来、固定トポロジーに限られていたスペクトル手法を、文ごとに異なる動的で個別的なツリー構造を持つモデルへと拡張すること。

提案手法

• 無限のデータからパラメータが一意に回復可能かどうかを評価するため、ヤコビアン行列のランクに基づく数値的同定可能性チェッカーを用いる。
• 補題1を用いたスペクトル分解により、観測された低次のモーメントから行列成分を回復し、行列積および固有値分解を適用する。
• アンミキシング技術を導入し、モーメントを可能なツリー構造の混合として表現し、それらを分離することで固定トポロジーの部分問題に対するパラメータを回復する。
• 疑似逆行列および行列演算を用いて、置換およびスケーリングを除き初期分布、遷移行列、発生行列を回復する。
• 最大長L_maxまでの文長におけるモーメントから混合行列を構築することで、より長い文への拡張を実現する。
• 例えばμ₁₃ − μ₁₂のようなモーメントの選択的組み合わせを用いて、AA + Aのような行列関数の式を導出し、対角化およびAの回復を可能にする。

実験結果

リサーチクエスチョン

• RQ1 文ごとに異なるツリー構造をとる標準的な構文的および依存関係パースィングモデルのうち、無限のデータから同定可能なものとは何か？
• RQ2 スペクトル手法を、固定でない、変動するツリー構造を持つパースィングモデルに適応可能か？
• RQ3 パースツリー構造の事前知識なしに、観測された文の語のみを用いてパラメータを推定することは可能か？
• RQ4 モデル構造にどのような条件を課すと、ヤコビアンランクテストが同定可能性を確認できるか？
• RQ5 トポロジーが観測不能で不均一な状態において、観測分布のモーメントをどのように分解すれば、潜在的パラメータを回復できるか？

主な発見

• パラメータの重複性により、確率的文法形式（PCFG）はヤコビアンランクテストにより同定不可能であることが確認された。
• PCFGの簡略化された変種および依存関係モデル（例：DEP-IES）は、提案された数値的基準のもとで同定可能である。
• アンミキシング技術により、トレーニング中にツリーのアノテーションが不要な状態でも、同定可能なモデルのパラメータを効果的に回復できた。
• DEP-IESモデルでは、モーメント差から導かれた二次方程式を解くことで、初期分布πおよび遷移行列Aを回復できた。
• 長さ3および長さ2の文のみを用いて、Aの対角化後に閉形式の解を得ることができ、パラメータ回復が達成された。
• 混合行列アプローチにより、L_max = 10の文まで拡張可能であり、990×2376の行列を用いて同定可能性と回復可能性を保持した。