[論文レビュー] Probabilistic Models for High-Order Projective Dependency Parsing

Xuezhe Ma, Hai Zhao|arXiv (Cornell University)|Feb 14, 2015

Natural Language Processing Techniques参考文献 35被引用数 10

ひとこと要約

本稿では、文法的ビグラムモデルの独立性仮定を緩和することで、高次元の射影的依存構文解析の一般化された確率的モデルを提案する。拡張されたインサイドアウトサイドアルゴリズムを用いることで、分割関数および周辺分布の効率的計算が可能となり、英語、中国語、チェコ語のコーパスで最先端の性能を達成した。並列L-BFGS最適化を用いることで、オンライン手法（例：MIRA）と比較して学習が最大10倍速くなった。

ABSTRACT

This paper presents generalized probabilistic models for high-order projective dependency parsing and an algorithmic framework for learning these statistical models involving dependency trees. Partition functions and marginals for high-order dependency trees can be computed efficiently, by adapting our algorithms which extend the inside-outside algorithm to higher-order cases. To show the effectiveness of our algorithms, we perform experiments on three languages---English, Chinese and Czech, using maximum conditional likelihood estimation for model training and L-BFGS for parameter estimation. Our methods achieve competitive performance for English, and outperform all previously reported dependency parsers for Chinese and Czech.

研究の動機と目的

• 文法的ビグラムモデルを高次元の依存関係に拡張しつつ、効率的な推論を維持する一般化された確率的モデルの開発。
• インサイドアウトサイドアルゴリズムを高次元の要因分解に適応させ、依存構文解析モデルのオフラインで並列化可能な学習を可能にすること。
• 2次および3次依存関係（例：孫、孫姉妹関係）を用いて、より豊かな文脈情報を捉えることで、構文解析の精度を向上させること。
• オンライン学習手法（例：MIRA や AP）と比較して、並列計算を可能にすることで学習時間を短縮すること。
• 英語、中国語、チェコ語を含む多様な言語で、提案フレームワークの評価を行い、最先端の構文解析器と性能を比較すること。

提案手法

• 高次元の依存木に適応したインサイドアウトサイドアルゴリズムの拡張により、要因分解モデルにおける分割関数および周辺分布の効率的計算を可能にする。
• 2次元の姉妹関係、2次元の孫関係、3次元の孫姉妹関係の3つの高次元モデルを導入し、文法的ビグラムモデルの独立性仮定を緩和する。
• L-BFGSを用いた最大条件付き尤度推定によりパラメータ学習を実施し、オフラインで並列化可能な最適化を実現する。
• 依存エッジが独立でないと仮定しない要因分解確率的モデルを採用し、複雑な構文的依存関係をモデル化可能にする。
• 射影的依存構文解析にこのフレームワークを適用し、有効な依存木上で動的計画法を用いて構造的一致性を保証する。
• 局所特徴および高次元相互作用に基づいて、全体の依存木をスコア化する構造的予測フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 独立性仮定を緩和した高次元依存モデルは、1次元モデルと比較して構文解析精度を向上させることができるか？
• RQ2 インサイドアウトサイドアルゴリズムは、2次および3次依存木の分割関数および周辺分布を効果的に拡張して計算できるか？
• RQ3 L-BFGSを用いたオフライン学習は、MIRA や AP といったオンライン手法と比較して、性能を維持または向上させつつ学習時間を著しく短縮できるか？
• RQ4 オンライン学習（AP/MIRA）とオフライン学習（L-BFGS）で学習したモデルの間で、特に長さ要因などの構造的特性に関連する誤り分布にどのような差が生じるか？
• RQ5 提案されたフレームワークは、英語、中国語、チェコ語といった多様な言語で、競争力あるか、あるいは最先端の性能を達成できるか？

主な発見

• 提案されたL-BFGSベースの学習フレームワークにより、MIRAと比較して構文解析モデルの学習時間を最大10倍短縮した。18コアを用いることで、3次元の孫姉妹モデルの学習時間を300時間から72.3時間に短縮した。
• 3次元の孫姉妹モデルでは、L-BFGSで学習した解析器が、APで学習したベースラインと比較して、Penn Treebank（PTB）で0.6%、Chinese Treebank（CTB）で2.1%、Prague Dependency Treebank（PDT）で1.1%のUAS向上を達成した。
• CTBおよびPDTでは、L-BFGSで学習した解析器が、これまでに報告されたすべての依存構文解析器を上回り、CTBでは87.2%のUASおよび37.0%のCM、PDTでは87.5%のUASおよび39.3%のCMを達成した。
• UASスコアが類似しているにもかかわらず、L-BFGSで学習した解析器はRAおよびCM指標で顕著に優れた性能を示しており、構造的精度の向上が裏付けられた。
• 誤り解析により、オンライン学習（AP/MIRA）とオフライン学習（L-BFGS）で学習した解析器の間で、特に長さ関連の構造的誤りの分布に顕著な差が生じることが判明し、異なる失敗モードを示していることがわかった。
• 英語（PTBで93.0%のUAS）でも、追加のデータやアノテーションを用いないにもかかわらず、先行研究を上回る性能を達成しており、外部リソースなしで優れた一般化性能を示した。