[論文レビュー] Three Generative, Lexicalised Models for Statistical Parsing

Michael J. Collins|ArXiv.org|Jun 17, 1997

Natural Language Processing Techniques参考文献 9被引用数 50

ひとこと要約

本稿では、統計的解析のための3つの生成的・語彙化されたモデルを紹介しており、それらは文脈自由文法フレームワーク内に格下げとwh移動を組み込むことで、先行研究を改善している。最高のモデルはWall Street Journalデータで88.1%の正確性と87.5%の再現率を達成し、前例の平均2.3%の向上を示している。また、明示的な格下げ情報と跡跡（trace）情報を含む、より言語学的に豊かな解析木を生成している。

ABSTRACT

In this paper we first propose a new statistical parsing model, which is a generative model of lexicalised context-free grammar. We then extend the model to include a probabilistic treatment of both subcategorisation and wh-movement. Results on Wall Street Journal text show that the parser performs at 88.1/87.5% constituent precision/recall, an average improvement of 2.3% over (Collins 96).

研究の動機と目的

• 既存の判別的モデルよりも高い解析精度を達成する生成的・語彙化された統計的解析モデルを開発すること。
• 格下げフレームを解析モデルに組み込むことで、句構造の一般化と述語項構造抽出を向上させること。
• 一般化された句構造文法からの知見を活用し、生成的解析フレームワーク内でwh移動を確率的にモデル化し、埋め込み節における跡跡位置の検出を可能にすること。
• 補語/修飾語の区別や跡跡マーカーを含む、より言語学的に豊かな構造を持つ解析木を生成することにより、下流のNLPアプリケーションにおける有用性を高めること。

提案手法

• モデルは、上位から下位への導出によりP(T,S)を推定する生成的アプローチを用いる。ここでP(T,S)は、頭部生成確率、左および右修飾語の確率、およびSTOP記号の確率に分解される。
• 頭部選択はP(H|P,h)によりモデル化され、ここでHは頭部構成要素、Pは親、hは頭語である。これにより語彙化された規則生成が可能になる。
• 左および右修飾語は、親、頭部、および頭部構成要素を条件とする0次マルコフ過程により生成され、修飾語列の終了を示すSTOP記号が導入される。
• 格下げは、頭語とその句構造的環境に基づいて補語/修飾語フレームの確率を割り当てることでモデル化される。
• wh移動は導出過程に跡跡位置を導入し、一般化された句構造文法からの文法的制約に基づいて跡跡配置の確率を割り当てることでモデル化される。
• Viterbi近似を用いてP(T|S)が最大となる木を選択し、P(T|S)の代理としてP(T,S)を最大化する。

実験結果

リサーチクエスチョン

• RQ1 生成的・語彙化された解析モデルは、[Collins 96]のような判別的モデルを上回る構文成分解析の正確性を達成できるか？
• RQ2 格下げフレームは、確率的解析フレームワーク内で効果的にモデル化可能であり、文法的一般化を向上させられるか？
• RQ3 生成的解析フレームワーク内でwh移動を確率的にモデル化し、埋め込み節における跡跡位置を検出できるか？
• RQ4 格下げやwh移動といった言語現象を組み込むことで、精度の向上と同時に、より言語学的に情報豊かな解析出力を得られるか？

主な発見

• モデル1は、[Collins 96]モデルの生成的版であり、Wall Street Journalデータで88.1%の正確性と87.5%の再現率を達成し、[Collins 96]より平均2.3%の向上を示している。
• モデル2に格下げフレームを組み込むことで、解析性能がさらに向上し、最終的な結果に寄与している。
• モデル3はwh移動を効果的にモデル化し、構文的移動を反映する跡跡マーカーを含む解析木を生成しており、構造的情報が強化されている。
• 本解析器は、従来のモデルよりも言語学的に豊かな出力を生成しており、補語/修飾語の区別や跡跡位置を明示的にエンコードしている。これは、述語項構造抽出にとって不可欠である。
• 生成的フレームワークにより、以前に生成された構造に条件づけることが可能となり、表面的な文字列特徴に制限されたモデルよりも、より柔軟かつ正確なモデル化が可能である。
• 本モデルは言語モデルとしても利用可能であり、文の確率はP(S) ≈ P(T_best, S)として推定できる。これは、音声認識やその他のNLPタスクへの応用可能性を示唆している。