[論文レビュー] Gumbel-Attention for Multi-modal Machine Translation

Pengbo Liu, Hailong Cao+1 more|arXiv (Cornell University)|Mar 16, 2021

Natural Language Processing Techniques参考文献 20被引用数 17

ひとこと要約

本稿では、マルチモーダル機械翻訳におけるテキスト関連の視覚的特徴に選択的に注目する、微分可能でGumbel-Sigmoidに基づく機構、Gumbel-Attentionを提案する。この機構により、関係のない画像領域からのノイズが低減される。実験の結果、3つのベンチマークデータセットにおいて最先端またはほぼ最先端の性能を達成し、テキストのみのTransformerよりもBLEUスコアが1.5ポイント以上向上した。

ABSTRACT

Multi-modal machine translation (MMT) improves translation quality by introducing visual information. However, the existing MMT model ignores the problem that the image will bring information irrelevant to the text, causing much noise to the model and affecting the translation quality. This paper proposes a novel Gumbel-Attention for multi-modal machine translation, which selects the text-related parts of the image features. Specifically, different from the previous attention-based method, we first use a differentiable method to select the image information and automatically remove the useless parts of the image features. Experiments prove that our method retains the image features related to the text, and the remaining parts help the MMT model generates better translations.

研究の動機と目的

• マルチモーダル機械翻訳における関係のない視覚的ノイズの問題に対処し、翻訳品質の低下を是正すること。
• 元のテキストとは関係のない画像領域を自動でフィルタリングできる、微分可能でエンドツーエンドで学習可能な手法を開発すること。
• 学習可能な選択メカニズムを通じて、意味的に関連する視覚的コンテンツにモデルを集中させることで翻訳性能を向上させること。
• 視覚的およびテキスト的表現を一致させるためのマルチモーダル類似度損失を導入することにより、特徴の関連性をさらに高めること。

提案手法

• Gumbel-Attention機構は、Gumbel-Sigmoidサンプリングを用いて、画像特徴から関連する空間的領域を微分可能に選択する。これにより勾配ベースの最適化が可能になる。
• Gumbel-SigmoidはGumbelノイズを用いた確率的サンプリングにより離散的選択を近似し、選択プロセスを逆伝播可能にする。
• 従来のアテンションを、関係のない画像特徴をクロスアテンション計算中に抑制する学習可能なスパースアテンションマスクに置き換える。
• 視覚的およびテキスト的表現の間の一致を促進するために、マルチモーダル類似度損失を導入する。
• モデルはこれらの要素を、アーキテクチャの単純性を保ちつつ性能を向上させるTransformerベースのエンコーダデコーダフレームワークに統合する。
• クロスエントロピー損失と提案されたマルチモーダル類似度損失の組み合わせにより、エンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 微分可能で学習可能なアテンション機構は、マルチモーダル翻訳における関係のない視覚的特徴を効果的にフィルタリングできるか？
• RQ2 Gumbel-Attentionは、標準アテンションおよびランダム画像ベースラインと比較して、翻訳品質にどの程度優れているか？
• RQ3 マルチモーダル類似度損失は、視覚的およびテキスト的表現間の一致をどの程度向上させるか？
• RQ4 提案手法は、モデルの複雑性を低く保ちつつ、性能向上を維持し、再現性の高いものとなるか？
• RQ5 Gumbel-Attention機構は、現在のタスクを超えて他のマルチモーダル学習シナリオへ一般化可能か？

主な発見

• Gumbel-Attentionモデルは、Multi30k Test2016セットでBLEUスコア39.2、METEOR57.8を達成し、テキストのみのTransformerを1.5ポイント以上上回った。
• Gumbel-Attentionを通常のアテンションに置き換えると、性能が1 BLEUポイント以上低下し、視覚的ノイズの悪影響が明確になった。
• ランダムな画像を入力として用いても、テキストのみのベースラインを上回る性能を示しており、画像入力が正則化の役割を果たしている可能性を示唆している。
• アブレーションスタディの結果、マルチモーダルゲーテッドファージョンと類似度損失の両方が有効であることが判明した。後者はやや小さいが顕著な影響を及ぼした。
• テキストと画像に依存するエンコーダー間でパラメータを共有しても、モデルは強力な性能を維持しており、効率性と頑健性を示している。
• 本手法は、3つのベンチマークデータセットすべてで最先端またはほぼ最先端の結果を達成しており、有効性と一般化能力を確認した。