[論文レビュー] Quantifying Exposure Bias for Neural Language Generation

Tianxing He, Jingzhao Zhang+2 more|arXiv (Cornell University)|Sep 25, 2019

Topic Modeling参考文献 49被引用数 24

ひとこと要約

本稿では、自己回帰的言語モデルとseq2seq翻訳タスクにおけるLSTMおよびトランスフォーマー・モデルを対象に、神経言語生成における露出バイアスの実効果を測定するためのEB-bleuおよびEB-C指標を提案する。驚くべきことに、教師強制による訓練-生成の乖離を軽減しても、性能向上はわずかにしか得られず、モデルとデータの分布の不一致が性能低下を最小限に抑える『快適な領域』に位置していることが示唆された。

ABSTRACT

The exposure bias problem refers to the training-generation discrepancy, caused by teacher forcing, in maximum likelihood estimation (MLE) training for auto-regressive neural network language models (LM). It has been regarded as a central problem for neural language generation (NLG) model training. Although a lot of algorithms have been proposed to avoid teacher forcing and therefore` to alleviate exposure bias, there is little work showing how serious the exposure bias problem actually is. In this work, we first identify the self-recovery ability of MLE-trained LM, which casts doubt on the seriousness of exposure bias. We then propose sequence-level (EB-bleu) and word-level (EB-C) metrics as reasonable proxies to quantify the impact of exposure bias. We conduct experiments for the LSTM/transformer model, in both real and synthetic settings. In addition to the unconditional NLG task, we also include results for a seq2seq machine translation task. Surprisingly, all our measurements suggest that removing the training-generation discrepancy only brings very little performance gain. In our analysis, we hypothesise that although there exist a mismatch between the model distribution and the data distribution, the mismatch is still in the model's comfortable zone, and is not big enough to induce significant performance loss.

研究の動機と目的

• 最大尤度で訓練された神経言語モデルにおける露出バイアスの実際の深刻さを調査すること。
• 露出バイアスの影響を正確に測定できる、文単位および語単位の指標を開発すること。
• 訓練-生成の乖離を除去することで、モデルの性能が顕著に向上するかどうかを評価すること。
• 教師強制によって引き起こされる分布の不一致が、顕著な性能低下を引き起こすほど大きいのかを分析すること。
• さまざまなアーキテクチャとタスクにおいて、MLEで訓練されたモデルが露出バイアスに対してどれほど頑健であるかを評価すること。

提案手法

• 露出バイアスの影響を推定するために、制御された露出条件下で計算されたBLEUスコアに基づく文単位指標であるEB-bleuを提案する。
• 露出バイアスに対するモデルの感受性を測定する語単位指標であるEB-Cを導入する。これは、トークンレベルの予測の信頼性を評価することで実現する。
• 無条件言語モデルとseq2seq翻訳タスクの両方において、標準的な教師強制によるMLEでLSTMおよびトランスフォーマー・モデルを訓練する。
• 露出バイアスの影響を他の訓練要因から分離するために、実データおよび合成データの両方の設定で実験を実施する。
• 自己回復分析を用いて、推論中に露出バイアスに起因する誤りをモデルがどれだけ回復できるかを評価する。
• 標準的なMLE訓練と露出バイアス除去技術を用いた訓練の両方でモデル性能を比較し、わずかな向上を測定する。

実験結果

リサーチクエスチョン

• RQ1 MLEで訓練された神経言語モデルにおいて、露出バイアスは実際どれほど深刻な問題であるか？
• RQ2 露出バイアス軽減技術は、言語生成タスクにおけるモデル性能をどの程度向上させるか？
• RQ3 教師強制によって引き起こされる分布の不一致は、モデル生成品質に顕著な低下をもたらすのか？
• RQ4 露出バイアスに起因する性能低下が、複雑な軽減戦略を採用するに値するほど大きいのか？
• RQ5 提案されたEB-bleuおよびEB-C指標は、さまざまなモデルアーキテクチャにおいて露出バイアスの影響をどの程度的確に捉えられるか？

主な発見

• 提案されたEB-bleuおよびEB-C指標は、実際および合成の両方の言語生成タスクにおいて、露出バイアスの影響を効果的に定量化できた。
• 訓練-生成の乖離を除去しても性能向上はわずかであり、露出バイアスの深刻さは一般的に想定されているほどではないことが示唆された。
• MLEで訓練されたモデルは強力な自己回復能力を示しており、分布の不一致が性能低下を最小限に抑える『快適な領域』に位置していることが示された。
• 露出バイアスを強調するように設計された合成設定ですら、軽減による性能向上は依然として小さいままだった。
• 結果はLSTMおよびトランスフォーマー・アーキテクチャの両方、および無条件生成とseq2seq翻訳タスクの両方で有効であった。
• 本研究は、露出バイアスが神経言語生成における主要な性能ボトルネックであるという一般的な仮定に疑問を呈した。