[論文レビュー] Imagination improves Multimodal Translation

Desmond Elliott, Ákos Kádár|arXiv (Cornell University)|May 11, 2017

Natural Language Processing Techniques参考文献 46被引用数 76

ひとこと要約

この論文は Imagination というマルチタスクモデルを提示します。エンコーダを共有することで翻訳と視覚 grounding 表現を学習し、翻訳時に画像を入力として使わずに Multi30K で最先端の結果を達成します。外部データ（described images と parallel text）は性能をさらに向上させることができます。

ABSTRACT

We decompose multimodal translation into two sub-tasks: learning to translate and learning visually grounded representations. In a multitask learning framework, translations are learned in an attention-based encoder-decoder, and grounded representations are learned through image representation prediction. Our approach improves translation performance compared to the state of the art on the Multi30K dataset. Furthermore, it is equally effective if we train the image prediction task on the external MS COCO dataset, and we find improvements if we train the translation model on the external News Commentary parallel text.

研究の動機と目的

• visually grounded representations を活用してマルチモodal 翻訳を動機づけ、改善する。
• マルチモーダル翻訳を翻訳学習と視覚 grounding タスクに分解する。
• 共有エンコーダが外部並行テキストや説明画像での訓練を可能にすることを示す。
• 翻訳時に画像を使用せずに Multi30K で最先端の結果を示す。
• ドメイン外データに対するロバスト性を示し、性能を補助するリソースを説明する。

提案手法

• 共用エンコーダを介して翻訳デコーダと Imaginet 画像予測デコーダの両方へ供給する共有モデル（Imagination）を提案する。
• アテンションベースのニューラル機械翻訳モデルを用いて翻訳を訓練する。
• 共有エンコーダ表現からグローバル画像特徴ベクトルを予測する補助的な画像予測デコーダを訓練する。
• 共同目的関数 J(θ,φ)=w J_T(θ,φ^t)+(1−w) J_G(θ,φ^g) を用いてタスクを結合し、別々のデータセット（D_image, D_text）で訓練を可能にする。
• in-domain（Multi30K）と out-of-domain データ（MS COCO, News Commentary）で評価し、アンサンブルデコoding を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 翻訳時に画像を使用せずに共有エンコーダとマルチタスク学習はマルチモーダル翻訳を改善できるか。
• RQ2 補助的な画像予測は翻訳品質を改善する grounded source 表現を促進するか。
• RQ3 外部データで画像 grounding を訓練し、外部平行テキストで翻訳を訓練する場合に性能は頑健か。
• RQ4 ドメイン外リソース（COCO, News Commentary）がマルチタスク設定で翻訳品質に与える影響はどうか。
• RQ5 ドメインをまたぐモデルのアンサンブルは Multi30K で最先端の結果を出すか。

主な発見

モデル	Meteor	BLEU	Notes
NMT	54.0 ± 0.6	35.5 ± 0.8	Text-only baseline (Multimodal comparison)
Imagination	55.8 ± 0.4	36.8 ± 0.8	In-domain multitask with image prediction
Imagination (COCO)	55.6 ± 0.5	36.4 ± 1.2	Out-of-domain image prediction dataset
Moses	56.9	36.9	Strong text-only baseline

• Imagination モデルは En→De Multi30K でイン-domain 単一モデルの Meteor 55.8、BLEU 36.8、NMT 54.0 ± 0.6、BLEU 35.5 ± 0.8 を達成。
• ドメイン外の COCO-described 画像を用いた画像予測を含んでも Imagination は競争力を維持（Meteor 55.6、BLEU 36.4）である。
• News Commentary 平行テキストを組み込むと改善が見られ、COCO と Multi30K データを組み合わせたアンサンブルで Meteor が 59.3 に到達。
• ドメイン内データに外部リソースを加えたモデルはアンサンブルで新たな最先端 59.3 Meteor を達成。
• separate D_text と D_image データで訓練しても性能を損なわず、画像予測は翻訳データが外部であっても利得をもたらす。
• サブワード語彙とデータ組み合わせ（Multi30K + NC）で顕著な利得を得られる（例: best アンサンブルで 59.3 Meteor）。
• Imaginet デコーダの grounding 目的は画像検索の整合性を改善（中央値 rank ~11）し、 grounded 表現を示す。