[論文レビュー] Elimination of Spurious Ambiguity in Transition-Based Dependency Parsing

Shay B. Cohen, Carlos Gómez‐Rodríguez+1 more|arXiv (Cornell University)|Jun 28, 2012

Natural Language Processing Techniques参考文献 20被引用数 8

ひとこと要約

この論文は、各依存木に対して一意の導出列を定義することにより、下向きの遷移ベースの依存解析における誤った曖昧性を原理的かつ明示的に排除する手法を提示する。この方法により、決定的かつスタックベースの遷移方針に従って、各依存木が一意の導出を有することが保証される。本手法は元のシステムと同等の漸近的計算量を維持し、導出のマージナリゼーションを回避することで、効率的な確率的解析が可能になる。

ABSTRACT

We present a novel technique to remove spurious ambiguity from transition systems for dependency parsing. Our technique chooses a canonical sequence of transition operations (computation) for a given dependency tree. Our technique can be applied to a large class of bottom-up transition systems, including for instance Nivre (2004) and Attardi (2006).

研究の動機と目的

• 遷移ベースの依存解析における誤った曖昧性、すなわち複数の導出列が同じ句構造を生成する問題に対処すること。
• ヒューリスティクスやチャートベースの手法による後処理ではなく、遷移システムレベルで曖昧性を排除すること。
• 各依存木が一意の標準導出を有することを保証する原理的かつ決定的な手法を提供すること。
• 元のシステムと同等の漸近的時間計算量を維持しながら曖昧性を排除すること。
• 導出のマージナリゼーションを回避することで、教師ありおよび教師なし設定の両方で効率的な学習とデコードを可能にすること。

提案手法

• 弧標準および非プロジェクト型パーサーを含む、単調な下向きのシフト・リダクション遷移システムのクラスを定義する。
• 一意の導出方針を導入：可能な限り早期にリダクションを行い、衝突時には現在のスタックトップに近いアタッチメントを優先する。
• 局所的なアタッチメントの好みに基づいて、各依存木を一意の導出列にマッピングする決定的オラクルを用いる。
• 追加の状態情報を導入することで、元のパーサー動作に影響を与えずに標準方針を強制する。
• 拡張されたシステムが完全であり、元のシステムと同等の時間計算量を保つことを保証する。
• 一意の導出確率を割り当てることで確率モデルを可能にし、複数の導出のマージナリゼーションの必要性を回避する。

実験結果

リサーチクエスチョン

• RQ1 遷移ベースの依存解析における誤った曖昧性を、原理的かつ効率的にシステムレベルで排除できるか？
• RQ2 どの条件下で、各依存木に対して一意の標準導出が存在するか？
• RQ3 提案手法が元のシステムと同等の漸近的時間計算量を維持するか？
• RQ4 提案された標準オラクルのカバー率は、既存システムのヒューリスティクスオラクルと比較してどの程度か？
• RQ5 EMアルゴリズムを用いた教師なし学習に拡張可能か？曖昧性に起因する計算量の増加は生じないか？

主な発見

• 提案された標準オラクルは、元の Attardi パーサー（次数2の遷移を用いる）が処理可能なすべての木に対して100％のカバー率を達成したが、元のオラクルは複数の言語で何百もの木を漏らしていた。
• CoNLL 2006 の木バンクにおいて、提案手法は元のシステムが処理可能なすべての木（72,703文中1,334文が失敗）を完全にカバーした。
• 本手法は証明可能に正しくかつ完全である：元のシステムで処理可能な木は、標準システムでも処理可能である。
• 拡張されたシステムにおける動的計画法の時間計算量は、元のシステムと同等の漸近的複雑性を持つ。
• 導出のマージナリゼーションを回避することで、教師ありおよび教師なし設定の両方で効率的な学習とデコードが可能になる。
• 本手法は確率的モデルに拡張可能であり、EMベースの教師なし学習を用いた依存文法の誘導に応用可能である。