[論文レビュー] Representation Degeneration Problem in Training Natural Language Generation Models

Jun Gao, Di He+4 more|arXiv (Cornell University)|Jul 27, 2019

Topic Modeling参考文献 29被引用数 105

ひとこと要約

論文は、重み結合を用いた尤度ベースのトレーニング中に語彙埋め込みが狭い円錐に崩れる表現デジェネレーション問題を特定し、コサイン正則化損失（MLE-CosReg）を提案してそれを緩和し、言語モデリングと機械翻訳の性能を改善する。

ABSTRACT

We study an interesting problem in training neural network-based models for natural language generation tasks, which we call the \\emph{representation degeneration problem}. We observe that when training a model for natural language generation tasks through likelihood maximization with the weight tying trick, especially with big training datasets, most of the learnt word embeddings tend to degenerate and be distributed into a narrow cone, which largely limits the representation power of word embeddings. We analyze the conditions and causes of this problem and propose a novel regularization method to address it. Experiments on language modeling and machine translation show that our method can largely mitigate the representation degeneration problem and achieve better performance than baseline algorithms.

研究の動機と目的

• 語彙埋め込みがNLGタスクで重み結合を用いた尤度トレーニング中に崩壊する理由を理解する動機づけ。
• 埋め込みが崩壊する条件を分析し、隠れ状態の幾何学と学習ダイナミクスに関連づける。
• 埋め込み空間を拡大しモデルの表現力を向上させる実用的な正則化を提案する。
• 言語モデリングと機械翻訳のベンチマークでこの手法を経験的に検証する。
• 正則化が埋め込み構造とモデル性能にどのように影響するかの洞察を提供する。

提案手法

• Transformerでの埋め込みの経験的可視化と、2D投影（SVD）を用いたWord2Vecおよび分類タスク埋め込みとの比較。
• 崩壊を隠れ状態の凸包とレイヤー正規化の理論的関連付け。
• 正規化された語彙埋め込み間のペアワイズコサイン類似度を最小化するコサイン正規化最大似然目的関数（MLE-CosReg）の導出。
• 正規化器が表現多様性を高めて埋め込み空間を拡大することを示す感度分析と正当化。
• WikiText-2の言語モデリングとWMT 2014の英語↔ドイツ語翻訳を用いた大規模比較実験。

実験結果

リサーチクエスチョン

• RQ1 尤度損失と重み結合を用いたNLGモデルの訓練時に語彙埋め込みが崩壊する原因は何か。
• RQ2 隠れ状態の幾何と低頻度語の最適化ダイナミクスは崩壊にどう寄与するか。
• RQ3 正規化で正規化された語彙埋め込み間のコサイン類似度を狙う簡易な手法で、モデルの複雑さを増やさずに崩壊を抑制できるか。
• RQ4 MLE-CosRegを導入して埋め込みを回復させると、言語モデリングの perplexity や機械翻訳のBLEUスコアに measurable な向上が得られるか。

主な発見

• 重み結合を用いたNLGモデルの埋め込みは、Word2Vecや標準的な分類埋め込みとは異なり、狭い円錐にクラスタし正の相関を示す傾向がある。
• 崩壊は隠れ状態の構造に関連しており、隠れ状態の凸包が原点を含まない場合、全体的に負の方向が存在し、希少語の埋め込みを特定の方向に無限大へと導く。
• 現実的な希少語設定でも、最適化は「現れなかったトークンであるかのように」振る舞い、低頻度語の埋め込み収束を促進する。
• コサイン正則化項（MLE-CosReg）を標準のMLE目的と併用することで埋め込み空間が拡大し、表現多様性が向上し主要特異値の集中が低減する。
• 実証結果はMLE-CosRegが改善をもたらすことを示す：言語モデリングでWikiText-2の perplexity が最大2.0ポイント向上；翻訳で英語→ドイツ語とドイツ語→英語でBLEUがそれぞれ1.08と0.93ポイント向上、より大きなTransformer系で追加の利得。
• 可視化と特異値分析はMLE-CosRegの下で埋め込みがより均一に分布し、スペクトルがよりバランスすることを示す。