[論文レビュー] Contextual Temperature for Language Modeling

Pei-Hsin Wang, Sheng-Iou Hsieh+5 more|arXiv (Cornell University)|Dec 25, 2020

Topic Modeling参考文献 24被引用数 4

ひとこと要約

本論文は、文脈履歴に基づいて各語彙トークンごとに固有の温度を学習する、文脈的温度（contextual temperature）という手法を提案する。これにより、言語モデルにおける動的不確実性制御が可能になる。トークンおよび文脈ごとに温度を最適化することで、Penn Treebank では perplexity 55.31、WikiText-2 では 62.89 を達成し、固定温度またはスケジュールベースの温度スケーリングを著しく上回る最先端の結果を実現した。

ABSTRACT

Temperature scaling has been widely used as an effective approach to control the smoothness of a distribution, which helps the model performance in various tasks. Current practices to apply temperature scaling assume either a fixed, or a manually-crafted dynamically changing schedule. However, our studies indicate that the individual optimal trajectory for each class can change with the context. To this end, we propose contextual temperature, a generalized approach that learns an optimal temperature trajectory for each vocabulary over the context. Experimental results confirm that the proposed method significantly improves state-of-the-art language models, achieving a perplexity of 55.31 and 62.89 on the test set of Penn Treebank and WikiText-2, respectively. In-depth analyses show that the behaviour of the learned temperature schedules varies dramatically by vocabulary, and that the optimal schedules help in controlling the uncertainties. These evidences further justify the need for the proposed method and its advantages over fixed temperature schedules.

研究の動機と目的

• 言語モデルの不確実性制御において、固定または手動で設定された温度スケジュールの限界を是正すること。
• 最適な温度軌道が語彙トークンおよび文脈によって異なるかどうかを調査すること。
• 各トークンおよび文脈に応じて適応する一般化された温度スケーリング機構を構築し、モデルのキャリブレーションおよびパフォーマンスを向上させること。
• 動的温度制御が、初期のシーケンス位置での不確実性を低減し、後に不確実性を抑制することで、シーケンスモデリングを向上させることを示すこと。

提案手法

• 本手法は、各トークンに対して学習可能な温度ベクトルを導入し、その温度をトランスフォーマー Encoder の隠れ状態に条件づける。
• 温度ネットワークは、小さな全結合ネットワークでパrameter化され、文脈埋め込みに基づいて各トークンの温度を予測する。
• 温度は Softmax 関数の入力に適用され、出力分布を変更する：$ p_i = \frac{\exp(z_i / \tau_i)}{\sum_j \exp(z_j / \tau_j)} $。
• 温度ネットワークは言語モデルと同時にエンドツーエンドで学習され、交差エントロピー損失を用い、各トークンの温度を調整するための勾配が逆伝播される。
• 温度値は、学習された温度ベクトル上で Softmax に類似した操作を経て正規化され、安定性と微分可能性が保証される。
• 本手法は、長文脈シーケンスにおける性能向上をさらに図るため、Mixture-of-Experts (MoS) の設定に適用され、CT-MoS と呼ばれる。

実験結果

リサーチクエスチョン

• RQ1 特定のトークンに対する最適な温度スケジュールが文脈によって顕著に異なるか？
• RQ2 各トークンごとに文脈依存の温度を学習することで、言語モデルの perplexity およびキャリブレーションが向上するか？
• RQ3 動的温度制御は、シーケンス内の異なる位置における不確実性分布にどのように影響するか？
• RQ4 各トークンごとの温度適応は、固定またはグローバルな温度スケジュールを上回る性能を発揮するか？

主な発見

• 提案された文脈的温度手法は、Penn Treebank データセットでテスト perplexity 55.31 を達成し、ベースラインモデルと比べ顕著な改善を示した。
• WikiText-2 データセットでは perplexity 62.89 を達成し、複数のベンチマークで一貫した向上を示した。
• 分析の結果、文の最初では平均温度が高く、徐々に終盤に向かって低下することが判明し、初期段階で不確実性が高まり、後に徐々に減少することが示された。
• 各トークンごとの温度スケジュールは顕著に異なる：一部のトークンは「加熱」する傾向を示し、他のトークンは安定した冷却を示すなど、文脈に応じた不確実性制御の様式が顕著に現れた。
• アブレーションスタディーにより、動的かつ文脈に適応した温度スケジューリングが、固定またはグローバルな温度スケーリングよりも優れた性能を発揮することが確認された。
• ケーススタディーでは、文脈的温度がトークン選択を改善し、例として「results」や「loss」を「treasury」や「$」よりも正しく予測するなど、学習された温度による確率スケーリングの調整が有効であった。