[論文レビュー] Characterizing and addressing the issue of oversmoothing in neural autoregressive sequence modeling

Ilia Kulikov, Maksim Eremeev+1 more|arXiv (Cornell University)|Dec 16, 2021

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、ニューラル自己回帰的シーケンスモデルが、過度に短いシーケンス（例：早期に発生する<eos>トークン）に対して、完全な参照シーケンスよりも高い確率を割り当てる頻度を定量化するための「過剰平滑化率」を導入する。訓練時に異なる微分可能な過剰平滑化損失を提案することで、この過剰平滑化を効果的に低減し、特にニューラル機械翻訳タスクにおいて、大規模ビームデコード下でのシーケンス長のモデリングとBLEUスコアが向上する。

ABSTRACT

Neural autoregressive sequence models smear the probability among many possible sequences including degenerate ones, such as empty or repetitive sequences. In this work, we tackle one specific case where the model assigns a high probability to unreasonably short sequences. We define the oversmoothing rate to quantify this issue. After confirming the high degree of oversmoothing in neural machine translation, we propose to explicitly minimize the oversmoothing rate during training. We conduct a set of experiments to study the effect of the proposed regularization on both model distribution and decoding performance. We use a neural machine translation task as the testbed and consider three different datasets of varying size. Our experiments reveal three major findings. First, we can control the oversmoothing rate of the model by tuning the strength of the regularization. Second, by enhancing the oversmoothing loss contribution, the probability and the rank of token decrease heavily at positions where it is not supposed to be. Third, the proposed regularization impacts the outcome of beam search especially when a large beam is used. The degradation of translation quality (measured in BLEU) with a large beam significantly lessens with lower oversmoothing rate, but the degradation compared to smaller beam sizes remains to exist. From these observations, we conclude that the high degree of oversmoothing is the main reason behind the degenerate case of overly probable short sequences in a neural autoregressive model.

研究の動機と目的

• ニューラル自己回帰的シーケンスモデルにおける過剰平滑化の問題を形式的に特徴づけること、特に不自然に短いシーケンスに高い確率を割り当てる現象を対象とする。
• 過剰平滑化率を定義・定量化すること、これは、正解シーケンスが自身の接頭辞に比べて確率で下回られる頻度を指す。
• 過剰平滑化率を直接最小化できるように設計された微分可能な正則化損失（過剰平滑化損失）を提案すること。
• この正則化が、複数の機械翻訳データセットにおけるシーケンス長の分布、デコード行動、翻訳品質に与える影響を評価すること。
• 大規模ビームサイズを用いたビームサーチがなぜ翻訳品質を低下させるのか、そして過剰平滑化がその根本的原因であるかどうかを調査すること。

提案手法

• 正解シーケンスの任意の接頭辞が、完全なシーケンスよりも高い確率を持つ確率の平均として、過剰平滑化率を定義する。
• 過剰平滑化率の凸緩和を構築し、勾配ベース最適化に適した微分可能な損失関数を生成する。
• ニューラル機械翻訳モデルの訓練中に、標準的な負の対数尤度目的関数に過剰平滑化損失を統合する。
• IWSLT’17およびWMT翻訳タスクで、過剰平滑化の強度を制御するための正則化強度（α）を変化させながらモデルを学習する。
• 異なるビームサイズを用いたビームサーチデコードを実施し、シーケンス長比とBLEUスコアへの影響を評価する。
• デコード位置における<eos>トークンの対数確率と順位を分析し、モデル行動の変化を検討する。

Figure 1: Average oversmoothing rate is going down as we increase contribution of the oversmoothing loss during fine-tuning. Filled regions denote the standard deviation across training runs according to section 5 .

実験結果

リサーチクエスチョン

• RQ1 十分に訓練されたニューラル機械翻訳モデルは、特に早期<eos>トークンの生成に関連して、高い過剰平滑化率を示すのか。
• RQ2 訓練時に微分可能な正則化損失を用いることで、過剰平滑化率を効果的に制御できるのか。
• RQ3 過剰平滑化率を低減させることで、特に大規模ビームデコード下における生成シーケンスの長さ分布にどのような影響が生じるのか。
• RQ4 提案された正則化により、大規模ビームサイズを用いた場合に翻訳品質（BLEUスコア）が向上するのか。もしあるならば、その理由は何か。
• RQ5 過剰平滑化が低減されているにもかかわらず、小規模ビームサイズでは改善が顕在しないのはなぜか、長さモデリングの向上にもかかわらず。

主な発見

• 提案された正則化損失の強度を高めることで、過剰平滑化率を単調に低減でき、問題に対する効果的な制御が可能であることが示された。
• 過剰平滑化損失の寄与度が高まるにつれて、早期位置における<eos>トークンの確率と順位が顕著に低下し、短いシーケンスへの好まれやすさが減少していることが示された。
• 提案された正則化により、ビームサイズの増加に伴う長さ比の劣化が顕著に低減され、参照シーケンスに近いより一貫性のある長さ分布が維持された。
• 過剰平滑化率が低い状態で大規模ビームデコードを実施した場合、翻訳品質（BLEU）が向上したが、小規模ビームデコードではその改善は観察されなかった。
• 正則化を施すことで、<eos>トークンの対数確率の動的範囲が拡大し、特に長いシーケンスではその順位が顕著に変化した。
• 過剰平滑化が低減されたにもかかわらず、大規模と小規模ビームサイズ間の性能ギャップは依然として存在しており、ビームサーチの非効率性は解決されていないことが示唆された。

Figure 2: (a) Log-probabilities of $\left<\mathrm{eos}\right>$ token within length- $t$ prefixes averaged across all positions per translation and then averaged across all translations. (b) Normalized rank of $\left<\mathrm{eos}\right>$ token within length- $t$ prefixes averaged across all positions