[論文レビュー] Momentum Calibration for Text Generation

Xingxing Zhang, Yiran Liu+6 more|arXiv (Cornell University)|Dec 8, 2022

Topic Modeling被引用数 13

ひとこと要約

MoCa（Momentum Calibration）は、オンライン手法であり、勾配降下法を用いてビームサーチで生成されたサンプルの実際の品質とモデルスコアを一致させるために、モーメンタム移動平均生成器を用いる。この手法は、CNN/DailyMailおよびSAMSumでアンサンブル学習や最先端手法を上回り、計算コストの増加が最小限であるにもかかわらず、SOTAの結果を達成する。

ABSTRACT

The input and output of most text generation tasks can be transformed to two sequences of tokens and they can be modeled using sequence-to-sequence learning modeling tools such as Transformers. These models are usually trained by maximizing the likelihood the output text sequence and assumes the input sequence and all gold preceding tokens are given during training, while during inference the model suffers from the exposure bias problem (i.e., it only has access to its previously predicted tokens rather gold tokens during beam search). In this paper, we propose MoCa ({\bf Mo}mentum {\bf Ca}libration) for text generation. MoCa is an online method that dynamically generates slowly evolving (but consistent) samples using a momentum moving average generator with beam search and MoCa learns to align its model scores of these samples with their actual qualities. Experiments on four text generation datasets (i.e., CNN/DailyMail, XSum, SAMSum and Gigaword) show MoCa consistently improves strong pre-trained transformers using vanilla fine-tuning and we achieve the state-of-the-art results on CNN/DailyMail and SAMSum datasets.

研究の動機と目的

• 訓練中に生成されたサンプルの実際の品質とモデルスコアを一致させることで、テキスト生成における露出バイアスと損失評価の不一致を是正すること。
• MLE損失で訓練する際の訓練とビームサーチによる推論の乖離を是正し、ビームサーチにおける相対的サンプル品質と整合性のあるモデルスコアを実現すること。
• リアルタイムのキャリブレーションに適した、オンラインで微分可能であり、動的に一貫性のある高品質なサンプルを生成する手法を開発すること。
• アーキテクチャの変更や複雑な訓練スキームを伴わずに、事前学習されたトランスフォーマーの性能を向上させること。

提案手法

• MoCaは、訓練中にゆっくりと変化する一貫性のある候補サンプルを生成するためのモーメンタム移動平均生成器を用いる。
• 外部の評価モデル（例：ROUGE）を用いてサンプル品質を評価し、そのスコアをオンラインモデルの予測確率と一致させる。
• 順位付け損失を適用することで、より高い品質のサンプルに高いモデルスコアが割り当てられるようにし、ビームサーチの性能を向上させる。
• 長文における位置的精度の低下を是正するため、ビームサーチに特化したスコア関数と位置重み付けをオンラインモデルが採用する。
• モーメンタム更新戦略により、生成器の安定的かつ徐徐な進化を確保し、サンプル間の一貫性を維持する。
• この手法は微分可能であり、強化学習における非微分可能な報酬問題を回避し、エンドツーエンドの訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 オンラインで動的にサンプルを生成することで、ビームサーチにおけるモデルスコアと実際のサンプル品質の一致を改善できるか？
• RQ2 静的または孤立したサンプル生成と比較して、モーメンタムベースの生成器は一貫性と性能を向上させるか？
• RQ3 微分可能でオンラインのキャリブレーション手法は、強化学習やスケジュールドサンプリングを上回る性能を発揮できるか？
• RQ4 位置重み付けを施したビームサーチに特化したスコア関数は、長文生成タスクにおける性能にどのように影響を与えるか？
• RQ5 MoCaは、通常の微調整を上回る強力な事前学習モデルをどれだけ向上させられるか？

主な発見

• MoCaは、CNN/DailyMail（ROUGE-L 45.76）およびSAMSum（ROUGE-L 50.88）で最先端の結果を達成し、より大きなモデルを含むすべてのベースラインを上回る。
• XSumでは、PEGASUS や BART よりもパラメータ数が少ない400Mおよび568Mパラメータのモデルを上回り、268BパラメータのST-MoEモデルよりも優れている。
• すべてのデータセットにおいて、通常の微調整を一貫して上回り、CNNDMではROUGE-Lで0.56ポイント、SAMSumでは1.51ポイントの向上を達成する。
• アブレーションスタディの結果、オフライン手法と比較して、オンラインのモーメンタム更新が性能向上に寄与しており、特にモーメンタムと適応的ポジショナル重み付けを併用した場合に最も優れた結果が得られた。
• 位置的精度の低下が顕著なSAMSumでは、位置重み付け（γt = 1）を採用した手法が優れているが、CNNDMでは定数重み付けがより優れた性能を示した。
• より小さなモデルを用いても、BRIO や SLiC を上回る性能を発揮しており、オンラインキャリブレーションとビームサーチに特化したスコア関数の有効性を示している。