[論文レビュー] Improving Language Models by Clustering Training Sentences

David Carter|ArXiv.org|Oct 4, 1994

Topic Modeling参考文献 10被引用数 6

ひとこと要約

本稿では、文のエントロピー低減に基づいて訓練文をサブコーパスにクラスタリングすることで言語モデルを改善する手法を提案する。これにより、各クラスタ毎に別個の言語モデルパラメータを設定し、文内における文脈的依存関係を捉える。結果として、一部のモデルにおいてATISドメインで性能向上が確認され、標準的なモデルが捉えていない利用可能な文脈的依存関係が存在することが示唆される。

ABSTRACT

Many of the kinds of language model used in speech understanding suffer from imperfect modeling of intra-sentential contextual influences. I argue that this problem can be addressed by clustering the sentences in a training corpus automatically into subcorpora on the criterion of entropy reduction, and calculating separate language model parameters for each cluster. This kind of clustering offers a way to represent important contextual effects and can therefore significantly improve the performance of a model. It also offers a reasonably automatic means to gather evidence on whether a more complex, context-sensitive model using the same general kind of linguistic information is likely to reward the effort that would be required to develop it: if clustering improves the performance of a model, this proves the existence of further context dependencies, not exploited by the unclustered model. As evidence for these claims, I present results showing that clustering improves some models but not others for the ATIS domain. These results are consistent with other findings for such models, suggesting that the existence or otherwise of an improvement brought about by clustering is indeed a good pointer to whether it is worth developing further the unclustered model.

研究の動機と目的

• 既存の言語モデルにおける文内文脈的影響の不完全なモデリングを是正すること。
• 訓練文をクラスタリングすることで、標準的なモデルが捉えていない隠れた文脈的依存関係が明らかになるかどうかを調査すること。
• より複雑で文脈に敏感なモデルの開発が妥当かどうかを自動的に評価する手法を提供すること。
• クラスタベースの言語モデリングが実世界の音声理解タスクにおいて有効かどうかを評価すること。
• クラスタリングによる性能向上が、利用可能な言語的構造の存在を示していることを実証すること。

提案手法

• クラスタ内でのエントロピーを最小化するように、訓練コーパス内の文を自動的にクラスタリングし、意味的または構文的に類似した文をグループ化する。
• 各クラスタに対して別個の言語モデルパラメータを学習させ、文内文脈をよりよく反映させる。
• クラスタリング後のモデル性能の向上を、元のモデルが未利用の文脈的依存関係を含んでいるかどうかの指標とする。
• 実世界の有効性を評価するため、音声理解分野のベンチマークであるATISドメインに本手法を適用する。
• クラスタリング済みモデルとベースラインモデルの性能を比較し、モデリング精度の向上を評価する。
• クラスタリングの主な基準としてエントロピー低減を用い、クラスタが言語的構造において均質であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 エントロピー低減に基づく訓練文のクラスタリングが、言語モデルの性能向上に寄与するか？
• RQ2 クラスタリングによる性能向上の有無が、利用可能な文脈的依存関係の存在を示唆するか？
• RQ3 どの種類の言語モデルが文のクラスタリングによって文脈モデリングの面で最も利益を受けるか？
• RQ4 クラスタリングが、より複雑で文脈に敏感なモデルの開発が正当化されるかどうかを診断するツールとして機能するか？
• RQ5 クラスタリングによる性能向上は、ATISドメインにおける既知の言語的構造とどのように相関するか？

主な発見

• エントロピー低減に基づく訓練文のクラスタリングにより、ATISドメイン内のある言語モデルで測定可能な性能向上が得られた。
• クラスタリングによって利益を得たモデルは、以前にモデル化されていなかった文脈的依存関係の証拠を示している。
• 他のモデルで改善が見られないのは、それらが既に関連する文脈を捉えているか、クラスタリングの恩恵を活用できる能力を欠いている可能性を示唆している。
• クラスタリング済みモデルと未クラスタリングモデルの性能差は、さらなる文脈に敏感なモデリングが妥当かどうかを示す信頼できる指標である。
• 結果は他の研究結果とも整合しており、クラスタリングが診断的かつ性能向上に寄与する手法であることが妥当であると検証された。
• 本手法は、より複雑で文脈に敏感な言語モデルの可能性を探索するための、比較的自動化された方法を提供する。