[論文レビュー] Differentiable lower bound for expected BLEU score

V. B. Zhukov, Eugène Golikov+1 more|arXiv (Cornell University)|Dec 13, 2017

Topic Modeling参考文献 15被引用数 6

ひとこと要約

本稿では、強化学習で必要なサンプリングを不要にすることで、勾配ベース最適化によるエンドツーエンド学習が可能な、期待BLEUスコアの微分可能下界（LB）を提案する。この手法は、交差エントロピーまたはREINFORCEベースの学習よりも高いBLEUスコアを達成し、IWSLT’14で+1.23 BLEUポイント、WMT’14で+1.53 BLEUポイントの向上を示した。計算効率が高く、完全に微分可能である。

ABSTRACT

In natural language processing tasks performance of the models is often measured with some non-differentiable metric, such as BLEU score. To use efficient gradient-based methods for optimization, it is a common workaround to optimize some surrogate loss function. This approach is effective if optimization of such loss also results in improving target metric. The corresponding problem is referred to as loss-evaluation mismatch. In the present work we propose a method for calculation of differentiable lower bound of expected BLEU score that does not involve computationally expensive sampling procedure such as the one required when using REINFORCE rule from reinforcement learning (RL) framework.

研究の動機と目的

• 非微分可能なBLEU指標と相関する代替損失を最適化することで、NLPにおける損失-評価不一致を解消する。
• 強化学習ベースのBLEU最適化における計算コストの高いREINFORCE風のサンプリングの必要性を排除する。
• 分散低減技術を用いずに、期待BLEUスコアを近似する完全に微分可能な学習目的関数を開発する。
• 標準的な学習プロトコルへの簡単な修正を用いて、系列変換翻訳モデルの汎化性能と最終的なBLEUスコアを向上させる。
• 最終学習段階を提案されたLB損失に置き換えることで、交差エントロピー学習からBLEU最適化学習へのなめらかな移行を可能にする。

提案手法

• 一括符号化された語系列を用いてBLEUスコアを行列形式で定式化し、行列積を用いてn-gramの重複度を計算する。
• 重複計算における min(1, v_y^n / v_x^n) 項を近似することで、期待BLEUスコアの微分可能下界（LB）を定義する。
• モデル出力の関数としてLBを微分可能関数として構築し、BLEU計算グラフ全体にバックプロパゲーションを可能にする。
• 学習安定性を向上させるために、精度推定値に加法的スムージングを適用する：(LB[O_n] + 1) / (len_x - n + 2)。
• 後続の学習エポックで交差エントロピー損失を置き換えることで、LB損失を標準的な学習パイプラインに統合する。
• アテンションとティーチャーフォーディングを備えた標準的な系列変換モデルを用い、Adamを用いて最適化し、REINFORCE用に初期学習率を低く設定する。

実験結果

リサーチクエスチョン

• RQ1 REINFORCEと同様にサンプリングを必要とせず、期待BLEUスコアの微分可能下界を構築できるか？
• RQ2 この下界を最適化することで、標準的な交差エントロピー学習よりも高い最終BLEUスコアが得られるか？
• RQ3 提案されたLB損失は、BLEUスコアの向上と学習効率の面で、REINFORCEベースの直接BLEU最適化と比較してどのように差をつけるか？
• RQ4 LB損失は、系列生成タスクにおける損失-評価不一致をどの程度軽減するか？
• RQ5 LB損失は、最小限のアーキテクチャ変更で標準的な学習プロトコルにスムーズに統合可能か？

主な発見

• 提案された微分可能下界（LB）損失を最適化した結果、IWSLT’14 DE-ENでビームサイズ1で27.83 ± 0.17のBLEUスコアを達成し、交差エントロピー（26.60 ± 0.14）およびREINFORCE（27.16 ± 0.18）を上回った。
• WMT’14 DE-ENでは、ビームサイズ1で18.65 ± 0.13のBLEUスコアを達成し、交差エントロピー（17.12 ± 0.2）を上回り、大規模データセットでも一貫した向上を示した。
• ビームサイズ5では、WMT’14で19.23 ± 0.19のBLEUスコアを達成し、交差エントロピー（19.03 ± 0.15）をわずかに上回り、より高いビームサイズでも安定性が向上した。
• LB損失は、強化学習における分散低減技術やサンプリングの必要性を排除し、学習パイプラインを単純化した。
• 交差エントロピーおよびREINFORCEベースラインを上回るBLEUスコアを達成し、IWSLT’14で最大+1.23 BLEUポイントの向上を示した。
• LB損失は計算的に効率的で、完全に微分可能であり、サンプリングや複雑な正則化を導入することなくエンドツーエンド学習を可能にした。