[論文レビュー] Multimodal Compact Bilinear Pooling for Multimodal Neural Machine Translation

Jean-Benoit Delbrouck, Stéphane Dupont|arXiv (Cornell University)|Mar 23, 2017

Multimodal Machine Learning Applications参考文献 11被引用数 27

ひとこと要約

本稿では、視覚的およびテキスト的アテンション特徴を双線形相互作用によって統合することで、マルチモーダルニューラル機械翻訳を向上させるため、マルチモーダルコンパクトバイリニアプールィング（MCB）を提案する。テンソルスケッチを用いて次元を低減することで、計算が可能になる。MMプレアテンションモデルは、アテンション計算の前にMCBを適用し、29.75 BLEUというスコアを達成。これは要素ごとの和および積の手法を上回り、MCBが処理パイプラインの初期段階で適用された際の有効性を示している。

ABSTRACT

In state-of-the-art Neural Machine Translation, an attention mechanism is used during decoding to enhance the translation. At every step, the decoder uses this mechanism to focus on different parts of the source sentence to gather the most useful information before outputting its target word. Recently, the effectiveness of the attention mechanism has also been explored for multimodal tasks, where it becomes possible to focus both on sentence parts and image regions. Approaches to pool two modalities usually include element-wise product, sum or concatenation. In this paper, we evaluate the more advanced Multimodal Compact Bilinear pooling method, which takes the outer product of two vectors to combine the attention features for the two modalities. This has been previously investigated for visual question answering. We try out this approach for multimodal image caption translation and show improvements compared to basic combination methods.

研究の動機と目的

• マルチモーダルコンパクトバイリニアプールィング（MCB）が、標準的な特徴結合手法よりもマルチモーダルニューラル機械翻訳を改善するかを調査すること。
• 高次元の視覚的およびテキスト的特徴を効率的に結合し、クロスモーダル相互作用を保持する方法の課題に対処すること。
• MCBをアテンション機構の前後に適用する場合（MMプレアテンション対MMアテンション）に、性能に差が出るかを評価すること。
• マルチモーダル翻訳タスクにおいて、MCBを要素ごとの和、積、および連結と比較すること。

提案手法

• MCBは、テキスト的および視覚的アテンション特徴という2つのモダリティ固有のコンテキストベクトルの外積を計算し、高次元の共同表現を生成する。
• 外積を低次元ベクトル（d ∈ {512, 1024, 2048, 4096, 8192, 16000}）に圧縮するために、テンソルスケッチアルゴリズムが適用される。
• MMプレアテンションモデルでは、アテンション機構の前にMCBプールィングを適用し、結合された高容量特徴空間上でアテンション重みが計算される。
• MMアテンションモデルでは、モダリティ固有のアテンションベクトルが計算され、要素ごとの演算で結合された後、MCBが適用される。
• MMプレアテンションモデルでは、MCBの後に2層の畳み込み層を用いて、視覚的特徴マップ上の空間的アテンション重みを予測する。
• モデルは双方向LSTMエンコーダー、視覚的特徴にResNet-50を、テキストおよび画像表現の両方に対してソフトアテンションを用いるアテンションベースのデコーダーを採用する。

実験結果

リサーチクエスチョン

• RQ1 要素ごとの和や積といった標準的な特徴結合手法と比較して、マルチモーダルコンパクトバイリニアプールィング（MCB）はマルチモーダルニューラル機械翻訳の性能を向上させるか？
• RQ2 MCBはマルチモーダルNMTモデルのアテンション機構に効果的に適用可能か？ また、その配置（アテンションの前後）が性能に影響を与えるか？
• RQ3 MCB出力の次元（d）が翻訳品質に影響を与えるか？ 本タスクにおいてMCB次元の最適設定は存在するか？
• RQ4 アテンション機構の前（MMプレアテンション）にMCBプールィングを適用することで、アテンションの後（MMアテンション）に適用する場合よりも優れた性能が得られるか？
• RQ5 MCBは、ネットワーク内で長く保持される結合特徴空間において、より良いクロスモーダル相互作用を可能にするか？特に、マルチモーダル翻訳において。

主な発見

• MMプレアテンションモデルでMCBを適用し、d=4096とした場合、29.75 BLEUのスコアを達成。これはプレアテンション設定における要素ごとの和（28.57）および積（29.14）を上回った。
• MMアテンションモデルでMCBを適用した場合、要素ごとの積と同等の性能（28.48 BLEU）に留まり、改善が見られなかった。これは、MCBの利点が重度の次元削減後に適用された場合に損なわれる可能性を示唆している。
• MMプレアテンションモデルでは、要素ごとの和に対して+0.62 BLEU、要素ごとの積に対して+1.18 BLEUの向上を達成。MCBによる初期段階の特徴統合が性能向上に寄与していることを示している。
• MMプレアテンションモデルの最適なMCB次元はd=4096と判明。29.75という最高のBLEUスコアを記録。より高い次元（例：d=8192）では性能が低下した。
• MMプレアテンションモデルでMCB（d=4096）を適用した場合、METEORスコアは48.80を達成。これはモノモーダルベースライン（48.32）および他の組み合わせ手法を大きく上回った。
• 本研究では、MCBプールィングがマルチモーダル翻訳において有効であることが示されたが、アテンション機構の前、すなわちネットワークの初期段階で適用された場合に限る。高次元のクロスモーダル相互作用を保持するためには、この配置が重要である。