[論文レビュー] Entropy-based Pruning of Backoff Language Models

Andreas Stolcke|ArXiv.org|Jun 11, 2000

Natural Language Processing Techniques参考文献 9被引用数 267

ひとこと要約

この論文は、元のモデルと圧縮済みモデル間の相対エントロピーを最小化することで性能を維持しながらモデルサイズを削減する、エントロピーに基づくプルーニング手法を提案する。この手法は正確な相対エントロピー変化を効率的に計算でき、しきい値ベースのプルーニング戦略を可能にし、Hub4の4-gramモデルを元のサイズの26%にまで縮小したが、認識誤り率に顕著な増加は見られなかった。

ABSTRACT

A criterion for pruning parameters from N-gram backoff language models is developed, based on the relative entropy between the original and the pruned model. It is shown that the relative entropy resulting from pruning a single N-gram can be computed exactly and efficiently for backoff models. The relative entropy measure can be expressed as a relative change in training set perplexity. This leads to a simple pruning criterion whereby all N-grams that change perplexity by less than a threshold are removed from the model. Experiments show that a production-quality Hub4 LM can be reduced to 26% its original size without increasing recognition error. We also compare the approach to a heuristic pruning criterion by Seymore and Rosenfeld (1996), and show that their approach can be interpreted as an approximation to the relative entropy criterion. Experimentally, both approaches select similar sets of N-grams (about 85% overlap), with the exact relative entropy criterion giving marginally better performance.

研究の動機と目的

• モデル品質とサイズを最適化する情報理論的で原理的根拠を持つN-gramバックオフ言語モデルのプルーニング基準を開発すること。
• プルーニング基準が計算的に効率的かつ自己完結的であり、外部の訓練統計ではなくモデルパラメータのみに依存することを保証すること。
• 提案された相対エントロピー基準を、特にSeymoreとRosenfeldの手法に代表される既存のヒューリスティック手法と比較すること。
• 相対エントロピーに基づくプルーニングが、モデルサイズを著しく削減する一方で認識性能を維持またはわずかに向上させることを示すこと。

提案手法

• この手法は、元のモデルと圧縮済みモデル間のモデル歪みの尺度として相対エントロピー（カルバック・ライバラー距離）を用いる。
• 各個々のN-gramのプルーニングがモデル品質に与える影響を正確に評価できるように、相対エントロピーの寄与を正確に計算し、N-gramの品質への影響順に正確にランク付けできる。
• プルーニングのしきい値は、パーセプレキシティの相対的変化に基づいて設定され、パーセプレキシティの増加がしきい値未満であるN-gramが削除される。
• プルーニング後は、圧縮済みモデルにおける確率正規化を維持するためにバックオフ重みを再計算する。
• この手法は自己完結的であり、訓練済みのカウントではなく、モデルパラメータ（確率とバックオフ重み）のみに依存する。
• SeymoreとRosenfeldのヒューリスティック基準（対数確率と頻度の重み付き差分）と比較され、この基準は相対エントロピー基準の近似であることが示された。

実験結果

リサーチクエスチョン

• RQ1 元のモデルと圧縮済みモデル間の相対エントロピーが、N-gramプルーニングのための妥当で効率的かつ自己完結的な基準として機能できるか。
• RQ2 SeymoreとRosenfeldが提案したヒューリスティック手法と比較して、エントロピーに基づくプルーニングのパーセプレキシティおよび語誤り率における性能はいかが。
• RQ3 相対エントロピー基準とヒューリスティック基準が選択するN-gramの重複度合いはどの程度で、これがモデル品質にどのように影響するか。
• RQ4 相対エントロピー基準は、Hub4モデルのような大規模言語モデルに対しても、実用的に計算可能な速度で計算可能か。
• RQ5 相対エントロピーに基づくプルーニングは、認識性能を維持しながらモデルサイズを著しく削減できるか。

主な発見

• エントロピーに基づくプルーニング手法により、生産用途を想定したHub4 4-gram言語モデルが元のサイズの26%にまで縮小され、認識誤り率に顕著な増加は認められなかった。
• 100,000トリグラムで、相対エントロピー基準はSeymoreとRosenfeldのヒューリスティック手法よりも1.2%低いパーセプレキシティを達成したが、語誤り率における差は無視できるほど小さかった。
• 2つのプルーニング手法が選択するN-gramの重複度合いは85%から88%であり、異なる基準にもかかわらずN-gram選択に強い一致を示した。
• 相対エントロピー基準はパーセプレキシティにおいてわずかに優れており、理論的根拠に基づいた最適化基準としての妥当性を裏付けた。
• 100,000トリグラムの圧縮モデルは語誤り率33.1%を達成し、フルモデルと同等の性能を示した。これは、プルーニングが認識品質を低下させないことを示している。
• この手法は計算的に効率的かつ自己完結的であり、モデルパラメータのみに依存するため、既存の言語モデルに対する後処理として適している。