[論文レビュー] Improving Statistical Language Model Performance with Automatically Generated Word Hierarchies

John McMahon, F.J. Smith|arXiv (Cornell University)|Mar 9, 1995

Natural Language Processing Techniques参考文献 50被引用数 61

ひとこと要約

本稿では、unigramおよびbigram頻度統計から階層的語類を生成するための平均クラス相互情報量を用いた二値のトップダウン語クラスタリング手法を提案する。システムは構造的タグ（階層的クラス所属を符号化するnビットの数値）を割り当て、可変粒度の言語モデルを可能にし、trigramモデルにおいてパープレキシティを顕著に低減（438.6から386.5に）させ、語ベースのベースラインより優れた性能を示した。

ABSTRACT

An automatic word classification system has been designed which processes word unigram and bigram frequency statistics extracted from a corpus of natural language utterances. The system implements a binary top-down form of word clustering which employs an average class mutual information metric. Resulting classifications are hierarchical, allowing variable class granularity. Words are represented as structural tags --- unique $n$-bit numbers the most significant bit-patterns of which incorporate class information. Access to a structural tag immediately provides access to all classification levels for the corresponding word. The classification system has successfully revealed some of the structure of English, from the phonemic to the semantic level. The system has been compared --- directly and indirectly --- with other recent word classification systems. Class based interpolated language models have been constructed to exploit the extra information supplied by the classifications and some experiments have shown that the new models improve model performance.

研究の動機と目的

• n-gram言語モデルが文脈的・意味的構造を十分に捉えられていないという限界を是正するため、語類を導入すること。
• 生コーパス統計から言語的構造を露呈する、自動的かつ教師なしの語分類システムを開発すること。
• 階層的語類情報を統合した補間ベースのモデルに統合することで、統計的言語モデルの性能を向上させること。
• 相互情報量クラスタリングから導出された構造的タグが、モデルの汎化性および頑健性を向上させるかどうかを評価すること。

提案手法

• 本システムは、平均クラス相互情報量に基づく二値のトップダウンクラスタリングアルゴリズムを用いて、語を階層的クラスにグループ化する。
• 語類は構造的タグとして表現される——上位ビットがクラス所属レベルを符号化する一意のnビット数値である。
• コーパスからのunigramおよびbigram頻度を処理し、クラスタリングに適した統計的に類似した語の文脈を同定する。
• 構造的タグを用いた補間によりtrigram言語モデルを強化し、可変粒度の文脈モデリングを可能にする。
• テストセットのパープレキシティを主指標として、クラスベースモデルと標準的な語ベースモデルを比較する。
• 手動タグ付けや複雑なパrameterチューニングを回避し、情報理論的クラスタリングと構造的タグ補間に依存する。

実験結果

リサーチクエスチョン

• RQ1 相互情報量に基づく自動語クラスタリングは、英語において意味的な文法的構造を的確に抽出できるか？
• RQ2 階層的語類を言語モデルに統合することで、標準的なn-gramモデルと比較してパープレキシティが低減するか？
• RQ3 クラスタリングから導出された構造的タグは、言語的に異なる文脈をより明確に区別できるか？
• RQ4 クラスベースの補間言語モデルの性能は、語ベースのベースラインと比較してどうなるか？

主な発見

• 自動語分類システムは、コーパスデータから音声的から意味的レベルまで言語的構造を的確に抽出できた。
• クラスベースの補間言語モデルは、テストセットのパープレキシティが386.5にまで低下し、ベースラインの語ベースtrigramモデル（438.6）と比較して顕著な改善を示した。
• 構造的タグモデルは、文法的に正しい文（例：'the boys eat the sandwiches'）に対して高い確率を割り当て、不文法的な文（例：'the boys seat the sandwiches'）に対しては低い確率を割り当てた。
• モデルは、'動詞-冠詞-名詞'対'前置詞-冠詞-名詞'といった意味的・文法的に異なる文脈を効果的に区別する頑健性を示した。
• 他の最近の語分類手法よりも優れた性能を示し、マージベースのアプローチと補完的かつ相反する強み・弱みを示した。
• 構造的タグの使用により可変粒度モデリングが可能となり、珍しいまたは未観測の語列に対してもより良い一般化が達成された。