[論文レビュー] Robust Probabilistic Predictive Syntactic Processing

Brian Roark|ArXiv.org|May 9, 2001

Natural Language Processing Techniques参考文献 85被引用数 17

ひとこと要約

本稿では、条件付き確率モデルを用いて段階的に完全に接続された句構造を構築する、頑健で確率的でトップダウンかつ左から右への文法解析器を提示する。この手法は、三文字語彙モデルよりも著しく誤り率（WER）と困惑度を低減し、三文字語彙モデルの学習データの5％程度のデータ量でも、音声認識において顕著な性能向上を達成する。さらに、EMに基づくモデル適応により、自然な会話の処理性能も向上する。

ABSTRACT

This thesis presents a broad-coverage probabilistic top-down parser, and its application to the problem of language modeling for speech recognition. The parser builds fully connected derivations incrementally, in a single pass from left-to-right across the string. We argue that the parsing approach that we have adopted is well-motivated from a psycholinguistic perspective, as a model that captures probabilistic dependencies between lexical items, as part of the process of building connected syntactic structures. The basic parser and conditional probability models are presented, and empirical results are provided for its parsing accuracy on both newspaper text and spontaneous telephone conversations. Modifications to the probability model are presented that lead to improved performance. A new language model which uses the output of the parser is then defined. Perplexity and word error rate reduction are demonstrated over trigram models, even when the trigram is trained on significantly more data. Interpolation on a word-by-word basis with a trigram model yields additional improvements.

研究の動機と目的

• 左から右へ段階的に処理する、広域カバレッジを備えた確率的トップダウンパーサーの開発。
• 自然言語の心理言語的処理を反映するように、文法的依存関係をモデル化すること。
• 音声認識の言語モデルとしてパーサーを適用し、標準的なn-gramモデルを上回る性能を達成すること。
• ノイズが多い、自然な会話や文法的に不完全な入力に対して、パーサーの頑健性を評価すること。
• 補間法とEMに基づく適応を検討し、リソースが限られたまたは困難なテストセットでの性能向上を図ること。

提案手法

• 左コーナー走査を用いた確率的トップダウン解析戦略を採用し、段階的に文法的導出を構築する。
• 文法的カテゴリと語彙的要素の上での条件付き確率モデルを用いて、解析意思決定をガイドする。
• 文法構造を平坦化しながらも句内関係を保持するため、選択的左コーナー変換を適用する。
• パーサーの出力を音声認識の言語モデルに統合し、n-gramモデルを置き換えたり補完したりする。
• 語単位の補間を三文字語彙モデルと組み合わせ、両者の長所を融合する。
• EM（期待値最大化）を用いてテストデータ上でモデルパラメータを再推定し、自然な会話における汎化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 トップダウンで左から右へ進む確率的パーサーは、人間の文処理を反映するように文法的依存関係をモデル化できるか？
• RQ2 パーサーに基づく言語モデルは、標準的な三文字語彙モデルよりも、困惑度と誤り率（WER）をより効果的に低減できるか？
• RQ3 事前処理なしに、自然でノイズが多い、または文法的に不完全な会話入力に対しても、パーサーは頑健に処理できるか？
• RQ4 限定的な学習データ量を用いる場合、三文字語彙モデルとの補間はどの程度性能向上に寄与するか？
• RQ5 EMに基づく適応は、リソースが限られた、あるいはドメイン外の音声データに対して、パーサーの言語モデル性能を向上させられるか？

主な発見

• パーサーに基づく言語モデルは、三文字語彙モデルと比較して、困惑度と誤り率（WER）を低減した。これは、三文字語彙モデルの学習データの5％程度のデータ量でも同様に成立した。
• Switchboardテストセットにおいて、長さ10以上の文では、パーサーモデルのWERは39.0であった。これは、同じサブセットで三文字語彙モデル（WER 39.3）を上回った。
• パーサーモデルと三文字語彙モデルの間の補間により、WERのさらなる改善が得られ、両者の長所が補い合っていることが示された。
• 不完全な入力に対してもモデルの頑健性が確認され、自然な会話において顕著な性能低下が見られなかった。これは、文法的整合性へのバイアスが最小限であることを示唆している。
• EMに基づく適応により、Switchboardにおけるパーサーモデルの性能が向上し、三文字語彙モデルのベースラインを上回った。
• 実験的結果から、構文解析は標準的なn-gramモデルでは到達できない長距離依存関係にアクセスできることを示しており、音声認識における実用性が裏付けられた。