[論文レビュー] Classes for Fast Maximum Entropy Training

Joshua Goodman|ArXiv.org|Aug 9, 2001

Statistical Mechanics and Entropy参考文献 6被引用数 75

ひとこと要約

この論文は、語の予測を2段階に分けることで、最大エントロピー言語モデルの高速化技術を導入する。まず語のクラス（例：ANIMAL, WEEKDAY）を予測し、次にそのクラス内の具体的な語を予測する。これにより、非ゼロのインジケータ関数の数が減少し、正規化が高速化される。ベースライン手法に比べ最大35倍の高速化を達成し、わずかにパープレキシティが向上する。

ABSTRACT

Maximum entropy models are considered by many to be one of the most promising avenues of language modeling research. Unfortunately, long training times make maximum entropy research difficult. We present a novel speedup technique: we change the form of the model to use classes. Our speedup works by creating two maximum entropy models, the first of which predicts the class of each word, and the second of which predicts the word itself. This factoring of the model leads to fewer non-zero indicator functions, and faster normalization, achieving speedups of up to a factor of 35 over one of the best previous techniques. It also results in typically slightly lower perplexities. The same trick can be used to speed training of other machine learning techniques, e.g. neural networks, applied to any problem with a large number of outputs, such as language modeling.

研究の動機と目的

• 言語モデルにおける最大エントロピーモデルの学習時間が非常に長くなる問題に対処すること。
• モデル品質を損なわずに学習中の計算コストを低減すること。
• 最大エントロピーモデルや言語モデルに限らず、一般に適用可能な技術を開発すること。
• 従来の手法が遅すぎて対応できない大規模データセットでも効率的な学習を可能にすること。

提案手法

• モデルを2段階の最大エントロピーモデルに再構築する。1つ目は語のクラスを予測し、2つ目はそのクラス内での語を予測する。
• 意味的または文法的に類似した語がグループ化されるように語のクラスを割り当てる（例：ANIMAL, WEEKDAY）。
• 連鎖確率 P(w|w1…wi−1) を P(class|w1…wi−1) × P(w|w1…wi−1, class) に因数分解することで、正規化が高速化される。
• 各文脈における非ゼロインジケータ関数の数を削減し、正規化の計算負荷が低下する。
• この手法は一般性を持ち、出力クラス数が多いことで遅延が生じる任意の学習アルゴリズム（ニューラルネットワークや決定木など）に適用可能である。
• クラスは学習データの上位60,000語から学習され、ゼロ確率を回避するため3-gramモデルとの補間が行われる。

実験結果

リサーチクエスチョン

• RQ1 最大エントロピー言語モデルの学習時間を、モデル性能を劣化させずに著しく短縮できるか？
• RQ2 予測をクラスと語の段階に分けることで、非ゼロインジケータ関数の数が減少し、正規化が高速化されるか？
• RQ3 この技術は、出力空間が大きな他の機械学習モデルにも一般化可能か？
• RQ4 クラスベースのアプローチは、標準的な最大エントロピーモデルに比べて低いパープレキシティを達成するか？

主な発見

• クラスベース手法は、大規模な学習データセットにおいて、最も効果的な従来手法（ユニグラムキャッシュ）に比べ最大35倍の高速化を達成した。
• 学習データサイズが大きくなるほど高速化が顕著になり、特に大規模で複雑な問題に対して最も有効であった。
• 3-gramモデルとの補間を施した場合、ベースラインの最大エントロピーモデルに比べてパープレキシティが1%〜5%低下した。
• 小規模データではユニグラムキャッシュに比べわずかに遅延が生じたが、データサイズが増加するにつれて性能が急速に向上した。
• この手法は、ニューラルネットワークや決定木などの他のモデルに対しても適用可能であり、出力空間が大きい場合に特に有効である。
• 理論的にも的確で、実験的にも有効な手法であり、出力空間が大きい問題における学習高速化の汎用的ソリューションを提供する。