[論文レビュー] Parsing with the Shortest Derivation

Rens Bod|ArXiv.org|Sep 27, 2000

Natural Language Processing Techniques参考文献 16被引用数 11

ひとこと要約

この論文は、確率的文法が短い導出に偏るという一般的な信念に挑戦し、データ指向的パーサー（DOP）で用いられる確率的木置換文法（STSG）において、短い導出に偏るという点が有害であるのではなく、むしろ有益であることを示している。ATISおよびOVISコーパスでは、短い導出に基づく非確率的メトリクスが確率的DOPを上回り、WSJコーパスでも競争力のある結果を達成した。この手法は、最小の部分木数を持つ導出を選択することで、より大きな、情報量の多い部分木を優遇し、パース精度を向上させている。

ABSTRACT

Common wisdom has it that the bias of stochastic grammars in favor of shorter derivations of a sentence is harmful and should be redressed. We show that the common wisdom is wrong for stochastic grammars that use elementary trees instead of context-free rules, such as Stochastic Tree-Substitution Grammars used by Data-Oriented Parsing models. For such grammars a non-probabilistic metric based on the shortest derivation outperforms a probabilistic metric on the ATIS and OVIS corpora, while it obtains very competitive results on the Wall Street Journal corpus. This paper also contains the first published experiments with DOP on the Wall Street Journal.

研究の動機と目的

• 確率的文法が短い導出に偏ることの、STSGベースのDOPモデルにおける有害性または有益性を調査すること。
• 短い導出に基づく非確率的メトリクスが、確率的DOPと比較してパース精度を向上させられるかどうかを評価すること。
• ATIS、OVIS、およびウォール・ストリート・ジャーナル（WSJ）を含む多様なコーパスにおける非確率的DOPの性能を評価すること。
• フロンティア語彙化DOPモデルが、ヘッド語彙化モデルと比較して非頭語彙依存関係をどれほど効果的に捉えられるかを検討すること。
• 部分木の確率推定に依存せずに、非確率的DOPが多様な言語的ドメインで競争力のある結果を達成できるかどうかを検証すること。

提案手法

• 非確率的DOPモデルは、コーパス内の各文について、部分木数が最小の導出（最短導出）を選択する。
• 複数の最短導出が存在する場合は、コーパス頻度に基づいて高い順位の部分木を有する導出を選択する。
• モデルは、コーパスから抽出された基本部分木を左側優先の置換によって組み合わせて、完全な解析木を構築する。
• 確率的DOPモデルにおける部分木の確率は、コーパス内での部分木出現頻度の正規化によって推定される。
• パース品質の評価には、予測された解析木とゴールスタンダードのtreebank解析木を比較し、ラベル付き適合率と再現率を用いる。
• モデルは最大部分木深さを変化させながら、ATIS、OVIS、WSJの3つのコーパスでテストされた。

実験結果

リサーチクエスチョン

• RQ1 確率的文法が短い導出に偏ることは、STSGベースのDOPモデルにおいて有害であるか、有益であるか。
• RQ2 短い導出に基づく非確率的DOPモデルは、パース精度の観点で確率的DOPを上回れるか。
• RQ3 部分木統計が収集しにくいコーパスにおいて、非確率的DOPモデルはより優れた性能を示すか。
• RQ4 非頭語彙依存関係は、DOPモデルのパース精度にどの程度寄与するか。
• RQ5 非確率的DOPは、多様な言語的ドメインにおいて確率的DOPと競争力のある結果を達成できるか。

主な発見

• 非確率的DOPモデルは、ATISおよびOVISコーパスで確率的DOPを上回り、より高いラベル付き適合率と再現率を達成した。
• WSJコーパスでは、非確率的DOPモデルは競争力のある結果を示し、最大部分木深さ14で89.5%のラベル付き適合率と89.3%のラベル付き再現率を達成した。
• 確率的DOPモデルは部分木深さが増すにつれて性能が向上し、深さ14で89.5%のLPと89.3%のLRを達成し、いくつかの先行パーサーを上回った。
• 2つ以上の非頭語彙を含む部分木を除外すると、確率的DOPのラベル付き適合率が1.2%低下し、ラベル付き再現率が1.0%低下した。これは、非頭語彙依存関係が精度向上に寄与していることを示している。
• 結果から、フロンティア語彙化DOPモデルが、ヘッド語彙化モデルと比較して構造的および語彙的依存関係をより効果的に捉えられることが示唆された。
• 本研究は、任意の確率的文法が、柔軟なサイズの基本木を用いる場合、競争力のある性能を示す非確率的バージョンに効果的に変換可能であるという仮説を支持している。