[論文レビュー] Modulating and attending the source image during encoding improves Multimodal Translation

Jean-Benoit Delbrouck, Stéphane Dupont|arXiv (Cornell University)|Dec 9, 2017

Multimodal Machine Learning Applications参考文献 17被引用数 14

ひとこと要約

本論文は、条件付きバッチ正規化（CBN）を用いて視覚的特徴抽出を制御する完全なエンドツーエンドのマルチモーダル翻訳モデルを提案する。また、文書エンコーダー表現に条件付けられたエンコーダー基盤の視覚的アテンション機構を導入している。言語に従った視覚的処理とエンコーディング段階でのアテンションを統合することで、3つのベンチマークデータセットで新たな最先端性能を達成し、Flickr Test2016ではBLEUスコアが最大40.5、不確かさのあるMSCOCOセットでは27.3を記録した。

ABSTRACT

We propose a new and fully end-to-end approach for multimodal translation where the source text encoder modulates the entire visual input processing using conditional batch normalization, in order to compute the most informative image features for our task. Additionally, we propose a new attention mechanism derived from this original idea, where the attention model for the visual input is conditioned on the source text encoder representations. In the paper, we detail our models as well as the image analysis pipeline. Finally, we report experimental results. They are, as far as we know, the new state of the art on three different test sets.

研究の動機と目的

• トレーニングパイプライン内で視覚的および文書的処理をより深く統合することで、性能が劣るマルチモーダル翻訳モデルの課題に対処する。
• 従来のデコーダー基盤のアテンションが視覚的特徴に与える制限を克服し、アテンション計算をエンコーダーステージに移行する。
• ソーステキストエンコーダーからの言語的文脈を用いて畳み込みニューラルネットワーク（CNN）の処理を調整することで、翻訳に適した特徴の関連性を向上させる。
• 固定された事前抽出特徴を使用するのではなく、テキスト入力に条件付けられた視覚的特徴抽出を含む完全なエンドツーエンドのトレーニングパラダイムを確立する。
• 言語に条件付けられた視覚的処理が、特に曖昧性解消タスクにおいてより情報豊かな画像表現をもたらすことを示す。

提案手法

• ResNetエンコーダーに条件付きバッチ正規化（CBN）を適用し、バッチ正規化のパラメータをソーステキストエンコーダーの隠れ状態に条件付け、特徴抽出を制御する。
• デコーダーステートではなく、ソース語の文書的表現 $\bm{h}_i$ を用いて視覚的特徴上でのアテンション重みを計算するエンコーダー基盤の視覚的アテンション機構を導入する。
• 双方向GRUエンコーダーを用いて各ソース語の文脈を反映したテキストアノテーション $\bm{h}_i$ を生成し、これらをCBNおよび視覚的アテンションの両方の条件付けに使用する。
• エンコーダー内でテキストアノテーション $\bm{h}_i$ と対応する視覚的特徴 $V_i$ を統合してマルチモーダル表現を構築し、デコーディングの前に共同処理を可能にする。
• 確率的勾配降下法を用いて、ターゲットシーケンスの負の対数尤度を最小化するように、モデル全体をエンドツーエンドで訓練する。
• 最後のResNetステージのファインチューニングまたは最終特徴マップのグローバル平均プーリングを実施し、異なる構成における性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ソーステキストエンコーダーの出力に条件付けた視覚的特徴抽出プロセスが、マルチモーダル翻訳性能を向上させるか？
• RQ2 デコーダーステージからエンコーダーステージに視覚的アテンション計算を移行することで、アライメントと翻訳品質が向上するか？
• RQ3 視覚エンコーダーに適用された条件付きバッチ正規化（CBN）が、マルチモーダル設定における画像特徴の情報量に与える影響は何か？
• RQ4 CBNとエンコーダー基盤のアテンションを組み合わせた場合、ResNetバージョンv1とv2の違いがマルチモーダル翻訳性能に与える影響は何か？
• RQ5 固定された事前抽出視覚特徴を使用するモデルと比較して、完全なエンドツーエンドのマルチモーダル翻訳モデルが優れた性能を示せるか？

主な発見

• ResNet v1、CBN、エンコーダー基盤のアテンションを組み合わせたモデル（RN v1 CBN enc-att）は、Flickr Test2016で40.5 ± 0.8のBLEUスコアを達成し、以前の最先端（38.4 ± 0.3）を上回った。
• 曖昧性のあるMSCOCOテストセットでは、BLEUスコア27.3 ± 0.9およびMETEOR 48.5 ± 0.4を記録し、新たな最先端を樹立した。
• 条件付きバッチ正規化（CBN）は性能向上に顕著な寄与を示し、特にグローバル画像特徴（例：Pool5）に適用した場合、Test2016でのBLEUスコアが38.4から39.4に上昇した。
• 最後のResNetステージのファインチューニングは、固定重みよりも性能向上をもたらさなかったため、CBN自体が有効な調整を十分に実行できることを示唆している。
• エンコーダー基盤のアテンション機構は、デコーダー基盤のアテンションを上回る性能を示し、モダリティ表現の早期統合がより効果的であることを示している。
• アーキテクチャ的改善を有するResNet v2は、ResNet v1と比較してわずかな性能低下を示した。これは、アーキテクチャの選択が、複雑な方法でモダリティ間の相互作用に影響を与える可能性があることを示唆している。