[論文レビュー] Incorporating POS Tagging into Language Modeling

Peter A. Heeman, James F. Allen|ArXiv.org|May 22, 1997

Natural Language Processing Techniques参考文献 15被引用数 14

ひとこと要約

本論文は、音声認識における語の連なりとその品詞（POS）タグを同時に予測する、画期的な言語モデル手法を提案する。POSタグを言語モデルの文脈の一部として扱い、中間的なツールとして扱うのではなく、統合的な構成要素とみなす。豊かな文脈的特徴（過去の語とそのPOSタグを含む）の確率分布を意思決定ツリーでモデル化することで、自然な会話データにおいて、3-gram語ベースのモデルに比べてパープレキシティが7.2%低減され、より良い認識性能を実現するための文法的構造のモデリングが向上したことを示している。

ABSTRACT

Language models for speech recognition tend to concentrate solely on recognizing the words that were spoken. In this paper, we redefine the speech recognition problem so that its goal is to find both the best sequence of words and their syntactic role (part-of-speech) in the utterance. This is a necessary first step towards tightening the interaction between speech recognition and natural language understanding.

研究の動機と目的

• 音声認識と自然言語理解の間の相互作用が限定的である問題に対処するため、認識タスクを、語の連なりとその文法的役割を同時に予測する形に再定義する。
• 語の連なりを予測する文脈としてPOSタグを用いることで、言語モデルの精度を向上させ、それらを補助的ツールとして扱うのではなく、文脈の一部とみなす。
• 語の識別子をPOSタグの精錬とみなすモデル化が、自然な会話認識における一般化性能と低いパープレキシティをもたらすかどうかを検証する。
• 共同モデリングフレームワークにおいて、POSおよび語の予測のための最適な文脈分割を学習する意思決定ツリーの有効性を評価する。

提案手法

• 音声信号Aが与えられたもとで、最も確率の高い語列と品詞タグ列を同時に推定する音声認識問題を再定式化する：$\hat{W}\hat{P} = \arg\max_{WP} \Pr(WP|A)$。
• 連合確率$\Pr(W_{1,N}P_{1,N})$を条件付き確率の積としてモデル化する：$\prod_{i=1}^{N} \Pr(W_iP_i|W_{1,i-1}P_{1,i-1})$。
• 条件付き確率を$\Pr(W_i|W_{1,i-1}P_{1,i}) \cdot \Pr(P_i|W_{1,i-1}P_{1,i-1})$に分解し、語の識別子を品詞タグの文脈の精錬とみなす。
• 情報理論的分割基準を用いた意思決定ツリーを用い、過去の語とその品詞タグを含む文脈の同値類を自動で学習する。
• 複合質問とビーム探索を用いて、複雑な文脈における確率分布の推定を向上させる。
• データスパarsityに対処するため、特に豊富で多次元的な特徴の文脈において、バックオフおよびスムージング技術を適用する。

実験結果

リサーチクエスチョン

• RQ1 従来の語ベースn-gramモデルと比較して、語とPOSタグの共同モデリングが、言語モデルのパープレキシティを改善できるか？
• RQ2 語の識別子を品詞タグの精錬とみなすことで、それらを独立した情報源として扱うのと比較して、一般化性能が向上するか？
• RQ3 意思決定ツリーは、自然な会話におけるPOSおよび語の予測のための最適な文脈分割を学習するのにどの程度有効か？
• RQ4 意思決定ツリー学習プロセスにおいて、複合質問とビーム探索を用いることで、モデル性能にどのような影響を与えるか？
• RQ5 品詞タグによる文法的構造の統合は、語誤り率をどの程度低減させ、自然な会話現象への耐性を向上させるか？

主な発見

• 提案されたPOSベースの言語モデルは、自然な会話データのTrainsコーパスにおいて、3-gram語ベースのバックオフモデルに比べてパープレキシティが7.2%低減され、24.26（対象は26.13）を記録した。
• モデルはTrainsコーパスにおいてPOS誤り率を2.97%にまで低減し、文法的タギングの正確性が向上したことを示した。
• 意思決定ツリー構築時に複合質問を用いることで、非複合アプローチに比べて語のパープレキシティが4.7%低減し、POS誤り率が2.3%低減した。
• ツリー構築中にビーム探索を適用することで、明確な性能向上が得られ、複合質問の効果の一部を説明できた。
• 品詞タグの完全な探索を、以前の文脈を調査する前に要求する制約を追加すると性能が向上したが、語の完全な識別子の探索を要求すると結果が劣化した。これは、語レベルの精錬が品詞レベルの精錬ほど重要ではないことを示唆している。
• ディスフランシーやイントネーションフレーズをモデルに組み込むと、パープレキシティがさらに14%改善され（22.5に）、POS誤り率も9%低下した。これは、NLUとエンドツーエンドで統合可能な強力な潜在的価値を示している。