[論文レビュー] Straight to the Gradient: Learning to Use Novel Tokens for Neural Text Generation

Xiang Lin, Simeng Han+1 more|arXiv (Cornell University)|Jun 14, 2021

Topic Modeling被引用数 8

ひとこと要約

本稿では、バックプロパゲーション中に勾配を直接修正することで、繰り返しの多いトークンではなく、新しい多様なトークンを使用するよう神経的テキスト生成モデルを促す訓練目的であるScaleGradを提案する。トークン頻度に基づいて勾配をスケーリングすることにより、構造的変更なしに、オープンエンドおよび指向的テキスト生成タスクの両方で生成品質が向上し、標準的なMLEや他の訓練ベースの手法を人間評価および自動評価で上回る。

ABSTRACT

Advanced large-scale neural language models have led to significant success in many language generation tasks. However, the most commonly used training objective, Maximum Likelihood Estimation (MLE), has been shown problematic, where the trained model prefers using dull and repetitive phrases. In this work, we introduce ScaleGrad, a modification straight to the gradient of the loss function, to remedy the degeneration issue of the standard MLE objective. By directly maneuvering the gradient information, ScaleGrad makes the model learn to use novel tokens. Empirical results show the effectiveness of our method not only in open-ended generation, but also in directed generation tasks. With the simplicity in architecture, our method can serve as a general training objective that is applicable to most of the neural text generation tasks.

研究の動機と目的

• 最大尤度推定（MLE）で訓練された神経言語モデルにおける繰り返し的で退屈なテキスト生成という、長年の問題に取り組むこと。
• 勾配レベルで学習信号を変更することで、まれなまたは新しいトークンの探索を促す訓練ベースの解決策を開発すること。
• 要件に応じて、要約、対話、テキスト継続など、さまざまな神経的テキスト生成タスクに適用可能な、シンプルでアーキテクチャに依存しない手法を構築すること。
• デコーディングベースの手法（例：nucleus sampling）が達成できる範囲を超えて、特に指向的生成シナリオにおいて生成品質を向上させること。
• 勾配更新を直接変更することで、標準MLEや補助損失手法よりも優れたトークンレベルの分布を得られることを示すこと。

提案手法

• ScaleGradは、バックプロパゲーション中に予測された各トークンの頻度に反比例するスケーリングを勾配に施すことで、損失関数の勾配を変更する。
• この手法は、トークン頻度に応じたスケーリング係数を勾配に適用し、希少なトークンにはより大きな更新を、頻度の高いトークンにはより小さな更新を与えることで、新しいトークンの探索を促進する。
• スケーリングは交差エントロピー損失に直接適用され、構造的変更なしに標準MLE訓練の即時置き換えとして利用可能である。
• スケーリング係数は、訓練データにおける各トークンの頻度に基づいて計算され、低頻度トークンに強い勾配信号が与えられるように保証される。
• このアプローチはRNN（LSTM）およびTransformerの両方と互換性があり、訓練中に教師強制（teacher forcing）を用いても動作する。
• これは温度スケーリングやサンプリングベースのデコーディング戦略とは異なり、最適化中の根本的な学習信号そのものを変更する点で特徴的である。

実験結果

リサーチクエスチョン

• RQ1 勾配信号の直接的な操作は、神経系列モデルにおける生成テキストの多様性と品質を向上させることができるか？
• RQ2 トークン頻度に基づいて勾配を変更することで、オープンエンドおよび指向的テキスト生成タスクの両方で繰り返しや退屈さが軽減されるか？
• RQ3 特に指向的生成において、nucleus sampling や top-k sampling といったデコーディングベースの手法と比較して、ScaleGradの生成品質はどのように異なるか？
• RQ4 より複雑な訓練ベースの手法（補助損失やカバレッジベクトルを用いるもの）よりも、シンプルな勾配レベルの修正が優れた性能を発揮できるか？
• RQ5 ScaleGradは、LSTM や Transformer などの異なるアーキテクチャおよび多様なテキスト生成タスクにおいて有効であるか？

主な発見

• ScaleGradは、PTB、IMDB、要約用のCNN/DMなど、複数のデータセットにおいて、繰り返しを顕著に低減し、文の流れのなめらかさと多様性を向上させた。
• 人間評価では、特にオープンエンド生成において、MLEおよびUnlikelihoodで訓練されたモデルと比較して、ScaleGradで生成されたテキストは、より多様で魅力的であると評価された。
• CNN/DM要約データセットでは、ScaleGradはROUGE-1スコア44.3およびROUGE-Lスコア22.1を達成し、MLEおよび他の訓練ベースのベースラインを上回った。
• 要約生成のような指向的生成タスクにおいて、ScaleGradはnucleus sampling や top-k sampling よりも優れた性能を示した。特に、サンプリング手法では高品質な出力を得られなかった。
• この手法は、LSTMおよびTransformerアーキテクチャの両方で一貫して生成品質を向上させ、広範な適用可能性を示した。
• アブレーションスタディにより、頻度に基づく勾配スケーリングが主な要因であることが確認され、これを除去すると性能が著しく低下した。