[論文レビュー] A Bayesian Model for Generative Transition-based Dependency Parsing

Jan Buys, Phil Blunsom|arXiv (Cornell University)|Jun 13, 2015

Topic Modeling参考文献 40被引用数 9

ひとこと要約

本稿では、階層的ピットマン＝ヨア過程（HPYPs）を用いて単語、品詞素性、依存構造の確率を同時にモデル化することで、スケーラブルで完全に生成的（fully generative）な遷移ベースの依存解析器を提案する。粒子フィルタリングに基づくデコードアルゴリズムを導入し、モデルの不確実性に応じてビームサイズを動的に調整することで、効率的な推論を実現し、WSJで88.5%のUASを達成。言語モデルとしても競争力のあるパープレキシティを示し、半教師あり設定においてn-gramモデルを上回る性能を発揮した。

ABSTRACT

We propose a simple, scalable, fully generative model for transition-based dependency parsing with high accuracy. The model, parameterized by Hierarchical Pitman-Yor Processes, overcomes the limitations of previous generative models by allowing fast and accurate inference. We propose an efficient decoding algorithm based on particle filtering that can adapt the beam size to the uncertainty in the model while jointly predicting POS tags and parse trees. The UAS of the parser is on par with that of a greedy discriminative baseline. As a language model, it obtains better perplexity than a n-gram model by performing semi-supervised learning over a large unlabelled corpus. We show that the model is able to generate locally and syntactically coherent sentences, opening the door to further applications in language generation.

研究の動機と目的

• 従来の生成的モデルに見られる計算効率の低さを克服し、スケーラブルで完全に生成的な遷移ベースの依存解析器を開発すること。
• デコード中にモデルの不確実性に応じてビームサイズを動的に調整することで、生成的解析における効率的な推論を実現すること。
• モデルの性能を依存解析および言語モデル化の両面で評価し、特に未ラベルコーパスを活用する半教師あり設定での性能を検証すること。
• モデルが文法的に整合性のある文を生成できる能力を示すこと。

提案手法

• モデルは、語彙タイプ、品詞素性、および解析器の遷移確率の連合分布をパrameter化するために、階層的ピットマン＝ヨア過程（HPYPs）を用いる。
• 依存解析を、シフト、左アーキ、右アーキの順序付き遷移の列としてモデル化し、スタックに基づく構成を用いて左から右へ文を生成する。
• モデルの不確実性に応じてビームサイズを動的に調整する粒子フィルタリングに基づく新規なデコードアルゴリズムにより、線形時間オーダーの推論が可能となった。
• デコード中に品詞素性と解析木の同時予測を可能とすることで、精度と効率の両方を向上させた。
• 大規模な未ラベルコーパスを活用することで、半教師あり学習を可能とし、言語モデル性能の向上を実現した。
• 生成プロセスは、不適切な導出まで含めた完全な潜在構造の周辺化を可能にするため、全導出確率に重み付けがなされる。

実験結果

リサーチクエスチョン

• RQ1 完全に生成的な遷移ベースの依存解析器は、判別的モデルと同等の精度と速度を達成できるか？
• RQ2 不確実性に応じてビームサイズを動的に調整する粒子フィルタリングベースのデコードは、生成的解析における推論効率と精度を向上させられるか？
• RQ3 特に未ラベルデータを活用する半教師あり設定において、モデルは言語モデルとしてどの程度の性能を示すか？
• RQ4 モデルはどの程度まで文法的に整合性のある文を生成できるか？

主な発見

• WSJテストセットにおいて88.5%のUASを達成し、同様の特徴を用いたグリーディな判別的ベースライン（88.9% UAS）に非常に近い性能を示した。
• モデルは1秒間に最大200文の解析が可能であり、生成的であるにもかかわらず高いデコード効率を示した。
• 大規模な未ラベルコーパスを半教師ありで学習させた場合、n-gramモデルよりもパープレキシティが優れていた。
• 教師あり学習でさえも、n-gramモデルに比べてモデルから生成された文の文法的整合性が顕著に高かった。
• 粒子フィルタリングデコードアルゴリズムは、モデルの不確実性に応じてビームサイズを適切に調整し、推論のロバスト性を向上させた。
• 本モデルは、精度と速度の両面で既存の生成的依存解析器を上回り、生成的解析の新しいベンチマークを確立した。