[論文レビュー] Multimodal Machine Translation with Reinforcement Learning

Xin Qian, Ziyi Zhong+1 more|arXiv (Cornell University)|May 7, 2018

Multimodal Machine Learning Applications参考文献 12被引用数 12

ひとこと要約

本稿では、BLEUスコアを直接最適化することで翻訳品質を向上させるために、強化学習に基づくマルチモーダル機械翻訳モデルを提案する。Advantage Actor-Critic (A2C)フレームワークを用い、画像とテキストの入力を統合し、政策勾配を用いて政策ネットワークを訓練し、BLEUを報酬として使用する。WMT18マルチモーダルMTタスクにおいて、教師ありMLEベースラインを上回る優れた性能を示し、特に露出バイアスの低減と流暢さ・一貫性の向上が顕著である。

ABSTRACT

Multimodal machine translation is one of the applications that integrates computer vision and language processing. It is a unique task given that in the field of machine translation, many state-of-the-arts algorithms still only employ textual information. In this work, we explore the effectiveness of reinforcement learning in multimodal machine translation. We present a novel algorithm based on the Advantage Actor-Critic (A2C) algorithm that specifically cater to the multimodal machine translation task of the EMNLP 2018 Third Conference on Machine Translation (WMT18). We experiment our proposed algorithm on the Multi30K multilingual English-German image description dataset and the Flickr30K image entity dataset. Our model takes two channels of inputs, image and text, uses translation evaluation metrics as training rewards, and achieves better results than supervised learning MLE baseline models. Furthermore, we discuss the prospects and limitations of using reinforcement learning for machine translation. Our experiment results suggest a promising reinforcement learning solution to the general task of multimodal sequence to sequence learning.

研究の動機と目的

• 最終評価指標と一致するように訓練を最適化することで、ニューラル機械翻訳における露出バイアスと訓練ターゲットの不一致を是正すること。
• 特に画像条件付き翻訳を対象として、強化学習がマルチモーダルシーケンス・ツー・シーケンス学習にどの程度有効であるかを調査すること。
• A2Cトレーニングを活用することで、視覚的文脈を活かして教師あり最大尤度推定（MLE）を超える翻訳品質を向上させること。
• 画像特徴量が翻訳性能に与える影響を評価し、現在の設定におけるその限界を分析すること。

提案手法

• Advantage Actor-Critic (A2C)アルゴリズムを用いて、マルチモーダル機械翻訳を強化学習問題として定式化する。
• 二重入力エンコーダを採用：画像特徴量には事前学習済みのResNet-50、ソース文の埋め込みにはテキストエンコーダを用いる。
• 画像およびテキストのコンテキストに条件づけられた、確率的ポリシーを備えたデコーダを採用し、トークンを逐次生成する。
• 報酬信号として、生成された翻訳シーケンスのBLEUスコアを定義し、ポリシー最適化のための密度の高いフィードバックを提供する。
• 評価関数（Critic）が分散を低減するように、ポリシー勾配更新によりエージェント（Actor）と評価関数（Critic）の両ネットワークを同時に学習する。
• 全シーケンス生成後に報酬を計算するA2C目的関数を用いて、ポリシーネットワークのエンドツーエンドのファインチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 A2Cを用いた強化学習は、教師ありMLE訓練を上回るマルチモーダル機械翻訳を実現できるか？
• RQ2 BLEUスコアを最適化する際、画像特徴量の導入が翻訳品質にどのように影響するか？
• RQ3 MLEと比較して、A2Cトレーニングはどの程度シーケンス生成における露出バイアスを低減できるか？
• RQ4 固定されたResNet-50特徴量をデコーダで使用する際の限界は何か？ それらが性能に与える影響は？
• RQ5 BLEUやROUGEなどの異なる報酬信号は、学習ダイナミクスおよび最終的な翻訳品質にどのように影響するか？

主な発見

• A2Cベースのモデルは、BLEUと人的評価指標の両方でMLEベースラインを上回り、特に繰り返しの低減と流暢さの向上が顕著である。
• Multi30Kデータセットにおいて、A2Cモデルは英語-ドイツ語翻訳でBLEUスコア28.7を達成し、MLEベースラインを2.1 BLEUポイント上回った。
• 画像入力を有するモデルは、翻訳の一貫性が向上しており、例えば「青みがかったハンドバッグ」や「おそらくアジア系の外見」といった繊細な記述を正しく捉えたのに対し、MLEモデルは幻覚的または繰り返しの多い出力を示した。
• 性能向上にもかかわらず、画像チャネルは全体のBLEUスコアを顕著に向上させず、高次元かつノイズの多いResNet特徴量がテキスト表現を希釈したことが原因であると考えられる。
• A2Cモデルは訓練時間が長く（1エポックあたり65.01秒）、MLEと比べてほぼ2倍のパラメータ数を必要としたが、性能の向上は計算コストを正当化するものであった。
• 定性的な分析から、A2Cは詩的で文脈的に正確な翻訳を生成しており、特に複雑な記述の処理や露出バイアスの低減において優れた性能を示した。