[論文レビュー] Multimodal Transformer with Multi-View Visual Representation for Image Captioning

Jun Yu, Jing Li+2 more|arXiv (Cornell University)|May 20, 2019

Multimodal Machine Learning Applications参考文献 49被引用数 30

ひとこと要約

本稿では、画像キャプション生成のためのマルチモodalトランスフォーマー（MT）モデルを提案する。このモデルは、モダリティ内（語-語、オブジェクト-オブジェクト）の自己注意とモダリティ間（語-オブジェクト）の共同注意を統合的にモデル化することで、深いマルチモーダル推論を可能にする。特徴マップのアライメント状態に関わらず、複数のビューからの視覚的特徴を専用エンコーダーを介して統合することで、MTモデルは最先端の性能を達成し、7つのモデルのアンサンブルにより、公開時におけるMSCOCOリアルタイムリーダーボードで1位を獲得した。

ABSTRACT

Image captioning aims to automatically generate a natural language description of a given image, and most state-of-the-art models have adopted an encoder-decoder framework. The framework consists of a convolution neural network (CNN)-based image encoder that extracts region-based visual features from the input image, and an recurrent neural network (RNN)-based caption decoder that generates the output caption words based on the visual features with the attention mechanism. Despite the success of existing studies, current methods only model the co-attention that characterizes the inter-modal interactions while neglecting the self-attention that characterizes the intra-modal interactions. Inspired by the success of the Transformer model in machine translation, here we extend it to a Multimodal Transformer (MT) model for image captioning. Compared to existing image captioning approaches, the MT model simultaneously captures intra- and inter-modal interactions in a unified attention block. Due to the in-depth modular composition of such attention blocks, the MT model can perform complex multimodal reasoning and output accurate captions. Moreover, to further improve the image captioning performance, multi-view visual features are seamlessly introduced into the MT model. We quantitatively and qualitatively evaluate our approach using the benchmark MSCOCO image captioning dataset and conduct extensive ablation studies to investigate the reasons behind its effectiveness. The experimental results show that our method significantly outperforms the previous state-of-the-art methods. With an ensemble of seven models, our solution ranks the 1st place on the real-time leaderboard of the MSCOCO image captioning challenge at the time of the writing of this paper.

研究の動機と目的

• 従来の画像キャプションモデルが相互作用（モダリティ間）のみをモデル化する一方で、自己注意（モダリティ内）の相互作用を無視するという限界を是正すること。
• 異なる画像の視点から得られるマルチビュー特徴を統合することで、視覚的表現を向上させ、特徴の多様性と識別能を高めること。
• 複雑なマルチモーダル依存関係を捉えることのできる、深くエンドツーエンドで学習可能なトランスフォーマー基盤のアーキテクチャを設計すること。
• 統一された注意ブロック内で、モダリティ内およびモダリティ間の注意を統合的にモデル化することの有効性を評価すること。
• MSCOCOデータセットにおける広範なアブレーションスタディおよびベンチマーク評価を通じて、優れた性能を実証すること。

提案手法

• 従来のCNN-RNNエンコーダーに代わり、自己注意および共同注意に基づく深層エンコーダ-デコーダー構造を採用したマルチモーダルトランスフォーマー（MT）モデルを提案する。
• 語-語、オブジェクト-オブジェクト、語-オブジェクトの注意を同時にモデル化するモジュラ型の注意ブロックを採用し、モダリティ内およびモダリティ間の関係を捉える。
• 2つのバリエーションを導入：アライメント済みマルチビュー特徴を扱うMT_amvと、非アライメント特徴を扱うMT_umv。両者ともガイド付き注意を用いて異なるビュー間の特徴をアライメントする。
• より豊かな視覚的表現を得るため、事前学習済みのオブジェクト検出器（例：Faster R-CNN）からの領域ベース特徴を画像エンコーダーの入力として使用する。
• エンコーダーおよびデコーダーの両方に、階層的な推論を可能にする多層のヘッド付き注意ブロックを積み重ねる。
• 交差エントロピー損失を用いてエンドツーエンドで学習し、各コンポonentの寄与度を検証するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 統一されたトランスフォーマーブロック内で、自己注意と共同注意を統合的にモデル化することで、画像キャプションの性能が向上するか？
• RQ2 アライメント済みおよび非アライメントのマルチビュー視覚特徴を統合することで、キャプション生成における視覚的表現はどのように向上するか？
• RQ3 深層注意スタックの影響は、マルチモーダル推論およびキャプションの正確性にどのような影響を及ぼすか？
• RQ4 提案されたMTバリエーション（MT_amvおよびMT_umv）は、多様な画像シナリオにおいて性能および頑健性の面でどのように比較されるか？
• RQ5 注意マップは、意味的なオブジェクト-語の関係や文脈的理解をどの程度効果的に明らかにしているか？

主な発見

• 提案されたMTモデルは、単一モデルで、MSCOCO画像キャプションベンチマークにおいて、従来の最先端手法を顕著に上回った。
• 7つのMTモデルのアンサンブルは、論文発表時におけるMSCOCOリアルタイム画像キャプションリーダーボードで1位を獲得した。
• 非アライメントマルチビュー特徴を処理するMT_umvバージョンが、MT_amvよりも優れた定量的結果を達成しており、柔軟な特徴アライメントの利点を示している。
• 定性的な分析から、より深いブロック（例：ブロック6）における注意マップが、「woman」と「skateboard」のような重要なオブジェクトとその関係を強調していることがわかった。これは、効果的なマルチモーダル推論を示している。
• 注意マップの結果から、非アライメントマルチビュー特徴を効果的に学習していることが裏付けられており、たとえば人物の異なる部分同士を正しく対応付けるなど、異なるビュー間で対応するオブジェクトを的確にリンクしている。
• アブレーションスタディの結果、自己注意とマルチビュー特徴統合の両方が性能向上に不可欠であることが確認され、各コンポーネントがキャプションの正確性向上に顕著な寄与をしている。