[論文レビュー] Reinforcement Learning with Large Action Spaces for Neural Machine Translation

Asaf Yehudai, Leshem Choshen+2 more|arXiv (Cornell University)|Oct 6, 2022

Natural Language Processing Techniques被引用数 6

ひとこと要約

この論文は、より良いターゲット埋め込み初期化と凍結を用いることで、行動空間の有効サイズを低減することにより、ニューラル機械翻訳（NMT）における強化学習（RL）の改善を提案する。ランダムに初期化された埋め込みの代わりに、高品質なBERTベースのターゲット埋め込みを使用することで、RLのファインチューニングにおいて平均1.5 BLEUポイントの向上が達成され、特に低確率トークンにおいて顕著な効果を示した。これは、行動空間の複雑さがNMTにおけるRLの主要なボトル neck であることを示している。

ABSTRACT

Applying Reinforcement learning (RL) following maximum likelihood estimation (MLE) pre-training is a versatile method for enhancing neural machine translation (NMT) performance. However, recent work has argued that the gains produced by RL for NMT are mostly due to promoting tokens that have already received a fairly high probability in pre-training. We hypothesize that the large action space is a main obstacle to RL's effectiveness in MT, and conduct two sets of experiments that lend support to our hypothesis. First, we find that reducing the size of the vocabulary improves RL's effectiveness. Second, we find that effectively reducing the dimension of the action space without changing the vocabulary also yields notable improvement as evaluated by BLEU, semantic similarity, and human evaluation. Indeed, by initializing the network's final fully connected layer (that maps the network's internal dimension to the vocabulary dimension), with a layer that generalizes over similar actions, we obtain a substantial improvement in RL performance: 1.5 BLEU points on average.

研究の動機と目的

• RLが理論的には優位性を持つにもかかわらず、NMTにおいては限定的な利益しか得られない理由を調査すること。
• 大きな行動空間（語彙サイズ）が、NMTにおける有効なRLの実現を妨げる主な障壁であることを特定すること。
• 語彙サイズを変更せずに行動空間の有効次元を低減する手法を検討すること。
• ターゲット埋め込みの初期化と凍結が、NMTにおけるRL性能に与える影響を評価すること。
• MLEで学習された埋め込みとBERTベースの埋め込みの間での意味的一般化能力を比較すること。

提案手法

• 意味的一般化を向上させるために、標準的なランダム初期化されたターゲット埋め込み層をBERTベースの埋め込みに置き換える。
• RLファインチューニング中にBERTベースのターゲット埋め込み層を凍結することで、学習の安定化と性能向上を図る。
• 標準的なMLE埋め込みと、凍結あり・なしのBERT埋め込みを用いたRL性能を比較するアブレーションスタディを実施する。
• 低リソース設定において語彙サイズを縮小し、その影響がRLの向上に与える影響を評価する。
• 語彙ペア（類義語、活用形、ランダム）のコサイン類似度を用いて、ターゲット埋め込みの意味的一般化を分析する。
• BLEUを報酬関数とする方策勾配RLを用い、MLEで事前学習されたNMTモデルをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 語彙サイズの縮小は、NMTにおけるRL性能の向上に寄与するか？
• RQ2 事前学習された文脈的埋め込み（例：BERT）を用いたターゲット埋め込みの初期化は、RLの有効性を高めうるか？
• RQ3 RLファインチューニング中にターゲット埋め込みを凍結することで、性能向上が得られるか？
• RQ4 BERTベースのターゲット埋め込みは、MLEで学習された埋め込みと比較して、意味的類似度をどれほどよく捉えられるか？
• RQ5 改善されたターゲット埋め込みを用いたRLは、MLE学習段階で低確率であったターゲットトークンの予測をより良く最適化できるか？

主な発見

• 語彙サイズの縮小は、MLEモデルがすでに正確でない場合でも、RLファインチューニングにおいて平均約1 BLEUポイントの顕著な向上をもたらした。
• MLEで学習された埋め込みの代わりにBERTベースのターゲット埋め込みを用いることで、RL性能に平均1.5 BLEUポイントの向上が得られた。
• RL学習中にBERTベースのターゲット埋め込みを凍結することで、初期化のみの効果を超える追加の性能向上が得られた。
• BERT埋め込みは顕著に優れた意味的一般化を示し、類義語や活用形のペアに対して明確に分離されたコサイン類似度分布を示した。これに対して、MLE埋め込みはすべての語彙ペアタイプで重複する分布を示した。
• BERTベースの埋め込みを用いたRLは、MLE事前学習段階で低確率であったターゲットトークンの予測を改善しており、最適化範囲が広がっていることを示している。
• BERTベースの初期化とターゲット埋め込みの凍結を組み合わせることで、自動評価指標（BLEU、意味的類似度）および人的評価において一貫した改善が得られた。