[論文レビュー] Doubly-Attentive Decoder for Multi-modal Neural Machine Translation

Iacer Calixto, Qun Liu+1 more|arXiv (Cornell University)|Feb 4, 2017

Natural Language Processing Techniques参考文献 26被引用数 6

ひとこと要約

本稿では、二重アテンションデコーダを提案する。このデコーダは、二つの独立したアテンション機構を用いて、それぞれ別々にソース言語の語と空間的視覚特徴に注目する。モデルは、デコード中に視覚的および言語的情報を効果的に統合することで、Multi30k データセットで最先端の性能を達成し、テキストのみのモデルや従来のマルチモーダル NMT モデルを上回る。

ABSTRACT

We introduce a Multi-modal Neural Machine Translation model in which a doubly-attentive decoder naturally incorporates spatial visual features obtained using pre-trained convolutional neural networks, bridging the gap between image description and translation. Our decoder learns to attend to source-language words and parts of an image independently by means of two separate attention mechanisms as it generates words in the target language. We find that our model can efficiently exploit not just back-translated in-domain multi-modal data but also large general-domain text-only MT corpora. We also report state-of-the-art results on the Multi30k data set.

研究の動機と目的

• 空間的視覚特徴を用いる従来のマルチモーダル NMT モデルの有効性が限定的である問題に対処すること。これらのモデルは、しばしばテキストのみまたはグローバル視覚特徴を用いるモデルに劣ることが多い。
• ソース語と空間的画像領域の両方に独立して注目する二つのアテンション機構を適用する、統合的かつエンド・トゥ・エンドで学習可能なデコーダを設計すること。
• ドメイン内マルチモーダルデータと大規模なテキスト中心の NMT コーパスを組み合わせることで、マルチモーダル翻訳におけるモデルの一般化性能と性能が向上するかどうかを調査すること。
• 空間的視覚特徴が、二重アテンションを介して適切に統合されれば、画像条件付き翻訳タスクにおける翻訳品質が顕著に向上することを実証すること。

提案手法

• モデルは、入力文から文脈的なソース文表現を生成するために双方向 GRU エンコーダを採用する。
• 二重アテンションデコーダは、二つの異なるアテンション機構を用いる：一つはソース語のアノテーションに、もう一つは事前に訓練された CNN（例：VGG19）を画像に適用して抽出された空間的視覚特徴に注目する。
• デコーダの隠れ状態は、ソース語からのコンテキストベクトルと、画像領域からのコンテキストベクトルの両方に条件付けられる。これらは別々のアテンションネットワークによって計算される。
• 最終的な出力分布は、学習可能な変換行列を通じてデコーダの隠れ状態と二つのコンテキストベクトルを組み合わせるソフトアテンション機構を用いて計算される。
• モデル全体は、交差エントロピー損失を用いてエンド・トゥ・エンドで学習され、各デコードステップでターゲット語とソースモダリティ間のアライメントに基づき、アテンション重みが動的に更新される。
• モデルは中規模のバックトランスレーションを施したドメイン内マルチモーダルデータで事前学習され、その後、大規模な一般ドメインのテキスト中心 NMT コーパスを用いて微調整される。

実験結果

リサーチクエスチョン

• RQ1 ソース語と画像領域に別々に注目する二重アテンション機構は、グローバル視覚特徴やテキストのみの入力に依存するモデルよりも、マルチモーダル神経機械翻訳を向上させることができるか？
• RQ2 独立したアテンション機構を介して空間的視覚特徴を統合することで、画像条件付き翻訳ベンチマークにおける翻訳品質に測定可能な向上が見られるか？
• RQ3 ドメイン内マルチモーダルデータで事前学習し、大規模なテキスト中心 NMT コーパスで微調整したモデルは、両方のデータタイプを効果的に活用して性能を向上させることができるか？
• RQ4 同じデータで学習した場合、提案モデルは強力なテキスト中心 NMT モデルおよびフレーズベース SMT ベースラインと比較してどうなるか？

主な発見

• 提案された二重アテンションデコーダは、Multi30k テストセットで最先端の性能を達成し、従来のマルチモーダル NMT モデルを上回った。
• 強力なテキスト中心 NMT ベースラインよりも顕著な向上を示した。これは、適切に注目された空間的視覚特徴が、意味のある情報を提供することを確認した。
• ドメイン内マルチモーダルデータと大規模な一般ドメインのテキスト中心 NMT コーパスの両方を効果的に活用し、ドメインをまたいで優れた一般化性能を示した。
• 語と画像領域に別々のアテンション機構を用いることで、より良いアライメントが実現され、特に特定の視覚的対象を含む記述において、より正確な翻訳が可能になった。
• グローバル画像特徴を用いた従来のマルチモーダル NMT の手法や、テキスト中心モデルに顕著に劣らない手法よりも、本モデルは優れた性能を発揮した。