[論文レビュー] Attaching Multiple Prepositional Phrases: Generalized Backed-off Estimation

Paola Merlo, Matthew W. Crocker+1 more|arXiv (Cornell University)|Oct 16, 1997

Natural Language Processing Techniques参考文献 7被引用数 32

ひとこと要約

この論文は、前置詞句（PP）の付随関係の曖昧性を解消する統計的手法「バックオフ推定」を、1文に複数のPPを含む場合にまで拡張する。最初のPPから得られる豊富な訓練データを再利用することで、ランダムやベースラインモデルよりも著しく高い精度を達成し、単一PPでは84.3%、2つのPPでは69.6%、3つのPPでは43.6%の精度を達成した。これは、複数PPの曖昧性解消におけるデータスパarsityと曖昧性の課題に対する実用的な解決策を示している。

ABSTRACT

There has recently been considerable interest in the use of lexically-based statistical techniques to resolve prepositional phrase attachments. To our knowledge, however, these investigations have only considered the problem of attaching the first PP, i.e., in a [V NP PP] configuration. In this paper, we consider one technique which has been successfully applied to this problem, backed-off estimation, and demonstrate how it can be extended to deal with the problem of multiple PP attachment. The multiple PP attachment introduces two related problems: sparser data (since multiple PPs are naturally rarer), and greater syntactic ambiguity (more attachment configurations which must be distinguished). We present and algorithm which solves this problem through re-use of the relatively rich data obtained from first PP training, in resolving subsequent PP attachments.

研究の動機と目的

• 複数のPPを含む文における前置詞句（PP）の付随関係を解消する課題に取り組む。これは、単一PPの場合よりも構文的曖昧性が増し、訓練データがよりスパースになるため、より困難である。
• 単一PPの付随関係に成功した「バックオフ推定」技術を、最初のPPから得られる情報を再利用することで、複数のPPに対応できるように拡張する。
• 可能な付随関係の組み合わせが指数関数的に増加する中でも、高い精度を維持できる一般化可能でスケーラブルな手法を開発する。
• 競争的なバックオフ推定が、ランダム選択や単純なベースラインモデルよりも、複数PPの曖昧性解消において優れているかどうかを評価する。

提案手法

• 単一PPの付随関係には、4-gramタプル形式（C, v, n1, p, n2）を用いる。ここでCは動詞（1）に付随するか、名詞句（2）に付随するかを示し、v, n1, p, n2はそれぞれ動詞、名詞、前置詞、および第2の名詞を表す。
• 複数PPの場合、アルゴリズムはバックオフ推定プロセスを一般化し、以降の前置詞に対して、以前のPPから得た最も情報価値の高い特徴を再利用して推定を繰り返す。
• 完全なタプル（例：v, n1, p1, n2, p2, n3）のカウントが0の場合、アルゴリズムは短いn-gramへ段階的にバックオフし、タプル内の要素数を次第に減らす。
• 3つのPPの場合、アルゴリズムは競争的なバックオフ推定を用いる。まず最初の2つのPPの最も可能性の高い構成（C′5）を特定し、その後、第3のPPが3つの可能な主語（n1, n2, n3）のそれぞれに対して最も好ましい付随関係を評価し、最良の全体構成を選択する。
• アルゴリズムは確率ではなく、出現頻度に基づく好みを優先し、より多くの訓練例によって支持されるバイアスに強く重みを置く。
• k個の構成にスケーリングするには、推定確率のargmaxを用い、スパースデータにおける過学習を避けるために安定性を保つバックオフ経路を設計する。

実験結果

リサーチクエスチョン

• RQ1 バックオフ推定を、データスパarsityと組み合わせ的爆発が深刻化する複数の前置詞句の付随関係に一般化できるか？
• RQ2 最初のPPから得られる訓練データを、複数PP構造における以降のPPの付随関係意思決定にどれほど再利用できるか？
• RQ3 競争的なバックオフ推定が、ランダム選択や単純なベースラインモデルよりも、複数PPの曖昧性解消タスクで優れているか？
• RQ4 PPの数が増加する（例：1、2、または3つのPP）に伴い、一般化された手法の性能はどのように変化するか？
• RQ5 特に低頻度イベントを扱う際、タプルに前置詞を含めることの影響は何か？

主な発見

• 提案された一般化されたバックオフ推定手法は、単一PPの付随関係で84.3%の精度を達成し、コリンズとブルックスが類似手法で報告した84.5%に非常に近い結果を再現した。
• 2つのPPでは69.6%の精度を達成し、最も頻度の高い構成に基づくベースライン（29.8%）を著しく上回った。
• 3つのPPでは43.6%の精度を達成し、14通りの可能な構成からランダムに選択する場合の期待値18.5%をはるかに上回った。
• 最初のPPから得られる訓練データを効果的に再利用することで、以降のPPの曖昧性を緩和できることを示した。これは、データスパarsityの問題を軽減する。
• バックオフ戦略は2段階までのバックオフでは安定的かつ有効であったが、それ以上になると信頼性が低下した。このため、競争的推定の使用が不可欠となった。
• タプルに前置詞を含めることは極めて重要である。前置詞は最も情報価値の高い要素であり、特に低頻度イベントを扱う際には、性能を数パcentポイント向上させる。