[論文レビュー] Incorporating Global Visual Features into Attention-Based Neural Machine Translation

Iacer Calixto, Qun Liu+1 more|arXiv (Cornell University)|Jan 23, 2017

Natural Language Processing Techniques参考文献 32被引用数 28

ひとこと要約

本稿では、事前学習済みの畳み込みニューラルネットワーク（VGG-19）から得られるグローバルな視覚特徴をエンコーダーおよびデコーダーに統合する、新しいアテンションベースのニューラル機械翻訳（NMT）モデルを提案する。特徴の統合戦略として、画像特徴を入力語として挿入する、エンコーダーの状態を初期化する、デコーダーの初期化を強化するといった手法を用いる。最良のモデルは、Multi30kデータセットで最先端の結果を達成し、すべての指標で文脈ベースのSMTおよび強力なNMTベースラインを顕著に上回る。また、合成されたバックトランスレーションデータの追加により、性能がさらに向上することが示された。

ABSTRACT

We introduce multi-modal, attention-based neural machine translation (NMT) models which incorporate visual features into different parts of both the encoder and the decoder. We utilise global image features extracted using a pre-trained convolutional neural network and incorporate them (i) as words in the source sentence, (ii) to initialise the encoder hidden state, and (iii) as additional data to initialise the decoder hidden state. In our experiments, we evaluate how these different strategies to incorporate global image features compare and which ones perform best. We also study the impact that adding synthetic multi-modal, multilingual data brings and find that the additional data have a positive impact on multi-modal models. We report new state-of-the-art results and our best models also significantly improve on a comparable phrase-based Statistical MT (PBSMT) model trained on the Multi30k data set according to all metrics evaluated. To the best of our knowledge, it is the first time a purely neural model significantly improves over a PBSMT model on all metrics evaluated on this data set.

研究の動機と目的

• 画像からのグローバルな視覚特徴をアテンションベースのNMTアーキテクチャに統合することで、ニューラル機械翻訳の性能を向上させること。
• 特徴の統合戦略（例：特徴を入力語として挿入する、隠れ状態を初期化する）が翻訳品質に与える影響を調査すること。
• 合成されたマルチモーダル・マルチリンガルな学習データがモデル性能に与える影響を評価すること。
• 完全にニューラルなマルチモーダルNMTモデルが、標準ベンチマークで文脈ベースのSMTシステムを上回ることを確認すること。
• 各デコーダー時刻に画像特徴を直接挿入すると生じる過学習の問題に対処すること。

提案手法

• グローバルな画像特徴は、事前学習済みの畳み込みニューラルネットワーク（VGG-19）を用いて抽出され、単語ベクトル空間に射影される。
• 視覚的特徴が入力文に追加の「語」として統合され、入力表現が豊かにされる。
• 画像特徴がエンコーダーの隠れ状態を初期化するために使用され、符号化プロセスが視覚的文脈に根ざすようになる。
• 画像特徴がデコーダーの隠れ状態を初期化するためにも使用され、生成の開始段階で視覚的文脈が提供される。
• 学習の強化と一般化性能の向上を目的として、合成バックトランスレーションデータを用いたマルチタスク学習の枠組みが採用される。
• アテンションベースのエンコーダ-デコーダー枠組みを用い、アテンション機構自体を変更せずに、複数の段階で視覚的特徴が統合される。

実験結果

リサーチクエスチョン

• RQ1 アテンションベースのNMTモデルの異なる部品にグローバルな視覚特徴を統合すると、翻訳品質にどのように影響するか？
• RQ2 入力語への挿入、エンコーダー初期化、デコーダー初期化といった視覚的特徴統合戦略の中で、どの戦略が最も高いパフォーマンスを達成するか？
• RQ3 合成されたマルチモーダル・マルチリンガルな学習データを追加することで、マルチモーダルNMTモデルの性能が向上するか？
• RQ4 完全にニューラルなマルチモーダルNMTモデルが、Multi30kデータセットで強力な文脈ベースのSMTベースラインを上回ることができるか？
• RQ5 各デコーダー時刻に画像特徴を直接挿入すると過学習が生じる理由は何か？また、その問題を回避するにはどうすればよいか？

主な発見

• 画像特徴を用いてデコーダーの隠れ状態を初期化するモデル（IMG_D）が、最も優れた全体的なパフォーマンスを示し、BLEU-4スコアは38.5、METEORは55.9、TERは41.6、chrF3は68.4を達成した。
• すべてのマルチモーダルモデルが、文脈ベースのSMTベースライン（34.0 BLEU-4）および強力なNMTベースライン（35.5 BLEU-4）を顕著に上回り、1.2〜3.0のBLEU-4ポイントの改善が見られた。
• 画像特徴を入力文に語として挿入するモデル（IMG_2W）は、初期化ベースの手法よりも劣った性能を示し、直接的な入力挿入は状態初期化よりも効果が低いことが示唆された。
• 合成バックトランスレーションデータの追加により、一貫した性能向上が得られた。最良のモデル（IMG_D）は、拡張データで微調整した場合、NMTベースライン比で3.0 BLEU-4ポイントの向上を達成した。
• 直接的に各デコーダー時刻に画像特徴を挿入すると過学習が生じ、学習が阻害されることを確認した。これは先行研究の報告とも一致する。
• 本研究では、初めて完全にニューラルなマルチモーダルNMTモデルが、Multi30kデータセットのすべての標準指標（BLEU、METEOR、TER、chrF3）で文脈ベースのSMTシステムを顕著に上回ることを実証した。