[論文レビュー] Multimodal Attention for Neural Machine Translation

Ozan Çağlayan, Loïc Barrault+1 more|arXiv (Cornell University)|Sep 13, 2016

Multimodal Machine Learning Applications参考文献 27被引用数 37

ひとこと要約

本論文は、翻訳中に画像特徴量とテキスト記述の両方を共同で注目できる、モダリティ固有の注目メカニズムを用いたマルチモーダルニューラル機械翻訳（MNMT）モデルを提案する。Multi30kデータセットで訓練することで、純粋なテキストベースのNMTベースラインに比べて最大1.6 BLEUおよびMETEORポイントの向上を達成し、特にモダリティに依存する注目メカニズムと最適なソース選択戦略を用いた場合に最高の性能を発揮する。

ABSTRACT

The attention mechanism is an important part of the neural machine translation (NMT) where it was reported to produce richer source representation compared to fixed-length encoding sequence-to-sequence models. Recently, the effectiveness of attention has also been explored in the context of image captioning. In this work, we assess the feasibility of a multimodal attention mechanism that simultaneously focus over an image and its natural language description for generating a description in another language. We train several variants of our proposed attention mechanism on the Multi30k multilingual image captioning dataset. We show that a dedicated attention for each modality achieves up to 1.6 points in BLEU and METEOR compared to a textual NMT baseline.

研究の動機と目的

• 視覚的およびテキスト的モダリティ情報の統合がニューラル機械翻訳の性能を向上させるかどうかを調査すること。
• 画像特徴量とソース言語記述の両方に効果的に注目できる、さまざまな注目メカニズムの設計と評価を行うこと。
• シーケンス・トゥ・シーケンス翻訳におけるマルチモーダル注目の最適なアーキテクチャ構成を特定すること。
• マルチモーダル注目が画像キャプション作成および翻訳タスクにおける注目アライメントと生成品質に与える影響を分析すること。

提案手法

• モデルは、画像特徴量とソース言語テキストの両方に別々の注目メカニズムを備えた、シーケンス・トゥ・シーケンスアーキテクチャを採用している。
• 画像特徴量は事前学習済みのCNN（VGG）から抽出され、14x14x512の特徴マップとして処理される。
• モデルは、画像およびテキストモダリティからのエンコーダー状態に対して重み付き和を計算するためのモダリティ固有の注目ベクトルを用いる。
• 異なるバリエーションを訓練：MNMT5（独立した注目ヘッド）、MNMT7（エンコーダー依存の注目）、およびソース選択戦略を用いたMNMT。
• 注目重みは元の画像上での空間的注目領域を可視化するために16倍にアップサンプリングされる。
• モデルは、英語の画像キャプションとそのドイツ語翻訳を含むMulti30kデータセット上でエンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 画像とテキスト記述の両方に同時に注目できるマルチモーダル注目メカニズムは、ニューラル機械翻訳の性能を向上させることができるか？
• RQ2 注目メカニズムの種類としてモダリティ固有の注目と共有注目を比較した場合、アライメント品質および翻訳性能にどのような差が生じるか？
• RQ3 例えば、最も情報量の多いモダリティを選び出すようなソース選択戦略が、マルチモーダルNMTにおける翻訳品質に与える影響は何か？
• RQ4 画像特徴量とテキスト語に対する注目パターンは、生成された記述の品質とどのように相関するか？

主な発見

• モダリティに依存する注目メカニズムを用いたMNMTモデルは、純粋なテキストベースのNMTベースラインに比べて最大1.6 BLEUおよびMETEORポイントの向上を達成する。
• 最良の性能を示した構成（最適なソース選択を用いる）は、ベースラインに比べて4.2 CIDEr-Dポイントの向上を示した。
• 共有注目メカニズムでは、特徴量の密度がより高い視覚モダリティに注目が偏るため、テキストのアライメントが損なわれる。
• 可視化結果から、モダリティに依存する注目は関連する画像領域とソース語に適切に注目しているのに対し、共有注目ではテキストのアライメントが乱れていることが明らかになった。
• NMTベースラインに比べ、モデルはより詳細かつ正確な記述を生成しており、衣類の色やポーズを正しく特定している。
• 定性的な分析から、モデルは特に視覚的詳細が翻訳の正確性を向上させる状況で、両モダリティを効果的に活用していることが確認された。