[論文レビュー] Robust stochastic parsing using the inside-outside algorithm

Briscoe, Ted+2 more|ArXiv.org|Dec 19, 1994

Natural Language Processing Techniques被引用数 41

ひとこと要約

本稿では、文脈自由文脈付き文法（PCFG）における規則確率の再推定にインサイドアウトサイド（ Baum-Welch）アルゴリズムを用いた、頑健な確率的解析フレームワークを提案する。これにより、曖昧で不足している文のカバレッジが可能になる。明示的規則と暗黙的規則生成を組み合わせ、特徴に基づく統合制約を統合することで、テストデータにおけるカバレッジを96％まで向上させつつ、高い解析精度を維持した。PCFGにおける制約付き規則誘導が、構文解析における実用的な頑健性を達成できることを示している。

ABSTRACT

The paper describes a parser of sequences of (English) part-of-speech labels which utilises a probabilistic grammar trained using the inside-outside algorithm. The initial (meta)grammar is defined by a linguist and further rules compatible with metagrammatical constraints are automatically generated. During training, rules with very low probability are rejected yielding a wide-coverage parser capable of ranking alternative analyses. A series of corpus-based experiments describe the parser's performance.

研究の動機と目的

• 幅広いカバレッジを持つ自然言語解析器における、不足生成と構造的曖昧性の問題に対処すること。
• 任意の自然に発生する入力を処理できる、頑健な確率的解析システムの開発。
• インサイドアウトサイドアルゴリズムによるPCFG再推定を用いて、解析カバレッジと精度を向上させること。
• 統合ベースの特徴（例：統合制約）といった言語的制約を確率的解析に統合し、不適切な曖昧性を低減すること。
• 確率的解析における規則誘導が、実世界の解析タスクで実用的な性能水準に達成できるかどうかの評価。

提案手法

• アンビギアスで現実的なコーパスで学習されたPCFGにおける規則確率の再推定に、インサイドアウトサイド（Baum-Welch）アルゴリズムを適用する。
• 各文に対して最も確率の高い解析を特定するために、ヴィタビデコーディングを用いる。
• 明示的／暗黙的文法戦略を実装し、既存の規則から暗黙的規則を生成することでカバレッジを向上させる。
• 特徴に基づく統合制約をPCFGの基盤に統合し、言語的に不適切な導出をフィルタリングする。
• 繰り返し再推定を適用し、文法下での学習コーパスの尤度を最大化する。
• 解析精度、再現率、および適合率の定量的評価にGEIG方式を採用する。

実験結果

リサーチクエスチョン

• RQ1 インサイドアウトサイドアルゴリズムは、現実的で曖昧なコーパスにおける解析の頑健性を向上させるために、PCFG規則確率の再推定を効果的に実行できるか？
• RQ2 暗黙的規則生成は、解析精度を劣化させることなく、どの程度カバレッジを向上させるか？
• RQ3 統合ベースの制約は、PCFG再推定の収束性と精度にどのように影響を与えるか？
• RQ4 確率的規則誘導と言語的制約の組み合わせにより、実用的で頑健な解析システムが得られるか？
• RQ5 PCFGベースの解析器は、実世界の制御されていない自然言語入力において、高いカバレッジと妥当な精度を達成できるか？

主な発見

• 明示的／暗黙的文法戦略により、テスト文におけるカバレッジが96％まで向上し、純粋なPCFGと比較してわずかな精度向上が得られた。
• 4回の反復後、統合強化文法は学習データで82％のカバレッジ、テストデータで96％のカバレッジを維持した。
• 明示的文法では、全再現率が初期の74.30％から訓練後の86.30％に向上した。明示的／暗黙的文法では、70.07％から82.51％に向上した。
• 明示的文法では、全適合率が80.52％から85.64％にわずかに低下したが、カバレッジの向上にもかかわらず高い水準を維持した。
• 明示的文法では、解析木の交差数の平均が16.07から12.73に低下し、選択された解析における構造的曖昧性が減少した。
• 統合制約の統合により、不適切な曖昧性が低減し、ベースラインPCFGと比較してわずかだが測定可能な精度向上が得られた。