[論文レビュー] Expoiting Syntactic Structure for Language Modeling

Ciprian Chelba, Frederick Jelinek|ArXiv.org|Nov 12, 1998

Natural Language Processing Techniques参考文献 5被引用数 123

ひとこと要約

本論文では、左から右へ、文法構造を段階的に構築することで長距離依存関係を捉える、左から右への事前因子化言語モデルを提案する。三文語モデルに比べ、頭語を付加した二分木構造を組み込むことで、性能が向上している。再推定と三文語モデルとの補間を経て、158.28のテストパープレキシティ（相対的11%削減）を達成し、言語モデルにおける文法構造の価値を示している。

ABSTRACT

The paper presents a language model that develops syntactic structure and uses it to extract meaningful information from the word history, thus enabling the use of long distance dependencies. The model assigns probability to every joint sequence of words--binary-parse-structure with headword annotation and operates in a left-to-right manner --- therefore usable for automatic speech recognition. The model, its probabilistic parameterization, and a set of experiments meant to evaluate its predictive power are presented; an improvement over standard trigram modeling is achieved.

研究の動機と目的

• n-gramの範囲を超えて長距離依存関係をモデル化できるように、文法構造を用いた言語モデルの開発。
• 自動音声認識およびラティス復号と互換性を持つ左から右への処理を可能にする。
• 計算コストが著しく高くなる既存手法の制限を克服し、語と構文構造の確率を同時に推定できる因子化モデルの構築。
• ペン・ツリーバンクを用いて、自動音声認識タスクにおけるモデルの予測性能を評価する。

提案手法

• モデルは左から右へ、二分木構造で頭語を付加した解析木を段階的に構築し、次に予測するための露出した頭語を維持する。
• 三段階のパイプライン（WORD-PREDICTOR、TAGGER、PARSER）を用い、遷移（単項、左接続、右接続）を生成することで解析構造を成長させる。
• PARSERモジュールは、最新の露出した頭語に基づいて遷移を適用し、頭語と非終端記号ラベルの割り当てが可能なすべての有効な二分木解析を生成する。
• 語列とその文法的構造を同時にモデル化できる因子化アプローチにより、パrameterをパrameter化し、同時確率推定を可能にする。
• 非二分木の構成要素の二分化は、非終端記号ラベルに基づく固定ルールを用い、中間ノードにはプライム変形を用いてラベルを付与する。
• 100万語の学習データを用いて、対数尤度のしきい値とスタック深さ制御を用いたパrameter再推定を実施し、その後三文語モデルと補間する。

実験結果

リサーチクエスチョン

• RQ1 n-gramの範囲を超えて、文法構造を効果的に活用して長距離依存関係をモデル化できるか？
• RQ2 左から右への段階的解析戦略は、自動音声認識システムと互換性を保ちながら、言語モデルの性能を向上させられるか？
• RQ3 計算コストが著しく高くなることなく、語と文法的構造の確率を同時に推定できる因子化モデルを構築できるか？
• RQ4 標準的なn-gramモデルと比較して、文法構造の組み込みがパープレキシティにどのように影響するか？
• RQ5 パrameter再推定と補間により、未知のテストデータ上で性能がさらに向上するか？

主な発見

• 3回の再推定イテレーションを経て、テストセットのパープレキシティが158.28に低下し、ベースラインの三文語モデル（167.14）に比べて統計的に有意な向上を示した。
• 三文語モデルとの線形補間（重みλ=0.36）により、テストパープレキシティは148.90に低下し、相対的に11%の削減が達成された。
• 開発セットのパープレキシティ（21.26）は、テストセット（158.28）よりも顕著に低く、学習データからの初期パrameterの適切な設定が示された。
• モデルの左から右への解析メカニズムにより、語ラティス復号が可能となり、自動音声認識システムへの統合に適している。
• 限られた100万語のコーパス上でのパrameter再推定でも明確な向上が得られたことから、より大規模な学習への応用可能性が示唆された。
• 露出した頭語と文法的構造のフィルタリングを用いることで、直近の語だけではなく「終わった」に基づいて「その後」を予測するなど、長距離依存関係が効果的に捉えられた。