[論文レビュー] Calibration, Entropy Rates, and Memory in Language Models

Mark Braverman, Xinyi Chen+4 more|arXiv (Cornell University)|Jun 11, 2019

Topic Modeling参考文献 38被引用数 13

ひとこと要約

この論文は、言語モデルにおける長期的分布不一致を検出し、補正するためのキャリブレーション手法を提案する。特に、LSTM や Transformer といった最先端モデルが自己回帰的生成の過程で顕著なエントロピー率の低下を示すことを示しており、提案手法はモデル予測を真の分布的性質に適合させるためにキャリブレーションを施すことで、生成品質とメモリ推定の両方を向上させる。これにより、パープレキシティが約20ポイント低下し、遠方の文脈との相互情報量の上界が得られる。

ABSTRACT

Building accurate language models that capture meaningful long-term dependencies is a core challenge in natural language processing. Towards this end, we present a calibration-based approach to measure long-term discrepancies between a generative sequence model and the true distribution, and use these discrepancies to improve the model. Empirically, we show that state-of-the-art language models, including LSTMs and Transformers, are \emph{miscalibrated}: the entropy rates of their generations drift dramatically upward over time. We then provide provable methods to mitigate this phenomenon. Furthermore, we show how this calibration-based approach can also be used to measure the amount of memory that language models use for prediction.

研究の動機と目的

• 自己回帰的生成における長期的分布不一致、特にエントロピー率とメモリ使用量の問題を特定・是正すること。
• 再トレーニングを伴わずに、理論的裏付けが強く、計算的に効率的なキャリブレーション手順を開発すること。
• 遠方の過去のトークンとの相互情報量を用いて、言語モデルが使用する長期記憶の量を定量化すること。
• 高い1ステップ目のパープレキシティが、正確な長期的生成を保証するわけではないことの実証的解明により、現在の評価指標における重要なギャップを明らかにすること。
• 神経言語モデルにおける将来に配慮した生成の評価と改善のための原則的フレームワークを提供すること。

提案手法

• モデル予測が参照分布と整合するように調整できるよう、パラメータ α における1次元の凸最適化を用いたキャリブレーションフレームワークを提案する。
• Dα(Z|Y,X) = D(Z|Y,X) * Ŵ(Z|Y,X)^α / Zα という分布族 Dα(Z|Y,X) を定義し、ここで D は元のモデル、Ŵ は参照分布を表す。
• キャリブレーション品質の代理指標として、真の分布とキャリブレート済みモデルとの間の交差エントロピーを用い、効率的なモンテカルロ推定が可能である。
• キャリブレート済み分布を用いて、モデル予測と遠方の過去トークンとの間の相互情報量の上界を導出し、メモリ推定を可能にする。
• 限られた記憶を持つ参照モデル (Ŵ) を用いて、実験的にモデルをキャリブレートし、τ 依存のメモリ上界を可能にする。
• LSTM および Transformer モデルにこのキャリブレーション手順を適用し、長期間のシーケンスにおいてエントロピー率とパープレキシティの両方で一貫した改善を示した。

実験結果

リサーチクエスチョン

• RQ1 GPT-2 や AWD-LSTM といった最先端の言語モデルは、自己回帰的生成において真の言語分布からどれほど逸脱しているのか。
• RQ2 再トレーニングを伴わず、キャリブレーションに基づくアプローチが自己回帰的生成におけるエントロピー率の低下を是正できるか。
• RQ3 キャリブレート済みモデルを用いて、モデル予測と遠方の文脈との間の相互情報量をどのように推定・上界付けることができるか。
• RQ4 高い1ステップ目のパープレキシティは、信頼できる長期的生成品質を示唆するのか、それとも隠れた分布不一致が存在するのか。
• RQ5 キャリブレーションに基づく手法が、神経言語モデルにおける将来に配慮した生成の評価と改善のための一般化可能なフレームワークとして機能できるか。

主な発見

• GPT-2 や AWD-LSTM といった最先端の言語モデルは、自己回帰的生成の過程で顕著なエントロピー率の上昇を示す。例えば、WebText における GPT-2 では、23.7 から 61.2 にまで上昇しており、これはキャリブレーションの不備を示している。
• 提案されたキャリブレーション手順により、LSTM モデルのパープレキシティが約20ポイント低下し、長期的生成品質の顕著な向上が確認された。
• キャリブレート済みモデルは、遠方の文脈との相互情報量のタイトな上界を達成しており、τ が増加するにつれてメモリ使用量が減少することが期待通りに観察された。
• 実験的結果から、最適なキャリブレーション係数 α* が長い τ に対して負の値をとることが判明し、元のモデル予測が参照分布に対して過信していることを示している。
• 真の分布と参照モデル (Ŵ) 間の交差エントロピーは、モンテカルロ推定により効率的に推定可能であり、スケーラブルなメモリ推定を可能にする。
• 理論的分析により、1ステップ目のKLダイバージェンスがエントロピー率のような長期的性質を制御しないことが確認され、キャリブレーションに基づく補正の必要性が裏付けられた。