[論文レビュー] A Novel Graph-based Multi-modal Fusion Encoder for Neural Machine Translation

Yongjing Yin, Fandong Meng+5 more|arXiv (Cornell University)|Jul 17, 2020

Natural Language Processing Techniques参考文献 37被引用数 5

ひとこと要約

本稿では、一貫したマルチモーダルグラフを介して単語と視覚的対象間の細分化された意味的対応関係をモデル化する、ニューラル機械翻訳のための新規なグラフベースのマルチモーダル融合エンコーダーを提案する。モダリティ固有のパラメータを用いて反復的に内部および跨モダリティ相互作用を実行するグラフベースの融合層を積み重ねることで、Multi30K データセット上で最先端の性能を達成し、翻訳のための優れたマルチモーダル表現学習を示している。

ABSTRACT

Multi-modal neural machine translation (NMT) aims to translate source sentences into a target language paired with images. However, dominant multi-modal NMT models do not fully exploit fine-grained semantic correspondences between semantic units of different modalities, which have potential to refine multi-modal representation learning. To deal with this issue, in this paper, we propose a novel graph-based multi-modal fusion encoder for NMT. Specifically, we first represent the input sentence and image using a unified multi-modal graph, which captures various semantic relationships between multi-modal semantic units (words and visual objects). We then stack multiple graph-based multi-modal fusion layers that iteratively perform semantic interactions to learn node representations. Finally, these representations provide an attention-based context vector for the decoder. We evaluate our proposed encoder on the Multi30K datasets. Experimental results and in-depth analysis show the superiority of our multi-modal NMT model.

研究の動機と目的

• 既存のマルチモーダル NMT モデルが、文書的単位と視覚的単位の間で細分化された意味的対応関係を十分に活用できないという限界に対処すること。
• 同じマルチモーダルグラフを構築することで、モダリティ間の意味的ギャップを埋め、内部および跨モダリティ関係を捉えること。
• 反復的かつモダリティに特化した意味的相互作用を可能にする GNN ベースのエンコーダーを構築し、マルチモーダル表現学習を向上させること。
• 明示的な跨モダリティ対応（例：語-対象のグランドイング）がニューラル機械翻訳の性能向上に寄与することを示すこと。
• 多様な言語対およびマルチモーダル NLP タスクに適用可能な汎用的なフレームワークを提供すること。

提案手法

• ノードを語彙または視覚的対象とする統一されたマルチモーダルグラフとして、入力文と画像を表現する。エッジは意味的関係を符号化する。
• 2種類のエッジを導入する：同じモダリティ内（例：語-語、対象-対象）の関係を表す内部モダリティエッジ、および跨モダリティ対応（例：'playing' から 'toy car'）を表す跨モダリティエッジ。
• モダリティ固有のパラメータを用いて、順次的内部モダリティ自己注意と跨モダリティゲーティングを実行する複数のグラフベースのマルチモーダル融合層を積み重ねる。
• 最終的なノード表現を、アテンションメカニズムを介してデコーダーのコンテキストベクトルとして使用する。
• 視覚的グランドイングを活用して、語と画像領域間の意味的アライメントを明示的にモデル化し、跨モダリティ理解を強化する。
• Multi30K データセット上で最大尤度推定を用いて、エンド・ツー・エンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 統一されたマルチモーダルグラフは、ニューラル機械翻訳の文脈で、内部および跨モダリティの意味的関係を効果的に捉えることができるか？
• RQ2 GNN を用いた反復的かつモダリティに特化した意味的相互作用は、従来の統合手法と比較して、マルチモーダル表現学習を向上させるか？
• RQ3 明示的な跨モダリティ対応（例：語-対象グランドイング）は、マルチモーダル NMT における翻訳性能をどの程度向上させるか？
• RQ4 提案されたグラフベースの統合エンコーダーは、異なる言語対に対してどれほど汎用性を示すか？
• RQ5 標準ベンチマークにおいて、既存の最先端のマルチモーダル NMT アプローチを上回る性能を発揮できるか？

主な発見

• 提案モデルは、Multi30K データセットの英語→ドイツ語翻訳タスクで最先端の性能を達成し、複数の優れたベースラインを上回った。
• 英語→フランス語翻訳タスクにおいても、モデルは優れた性能を維持し、言語対を越えた有効性と一般化能力を確認した。
• アブレーションスタディの結果、跨モダリティエッジやモダリティ固有のパラメータを削除すると性能が著しく低下し、明示的な跨モダリティモデリングの重要性が裏付けられた。
• 質的分析の結果、視覚的文脈を活用することで、曖昧な語の処理が改善された。
• 統一されたマルチモーダルグラフの使用により、個別のモダリティ固有のグラフやグローバル画像特徴と比較して、意味的対応関係の表現がより優れていた。
• コードは https://github.com/DeepLearnXMU/GMNMT で公開されており、再現性およびさらなる研究に役立つ。