[論文レビュー] Aligning Visual Regions and Textual Concepts for Semantic-Grounded Image Representations

Fenglin Liu, Yuanxin Liu+3 more|arXiv (Cornell University)|May 15, 2019

Multimodal Machine Learning Applications参考文献 43被引用数 45

ひとこと要約

本論文は Mutual Iterative Attention (MIA) を導入し、視覚領域とテキスト概念を整列させる。意味論的に基づく画像表現を生成し、さまざまなベースラインで画像キャプション生成と VQA を改善する。

ABSTRACT

In vision-and-language grounding problems, fine-grained representations of the image are considered to be of paramount importance. Most of the current systems incorporate visual features and textual concepts as a sketch of an image. However, plainly inferred representations are usually undesirable in that they are composed of separate components, the relations of which are elusive. In this work, we aim at representing an image with a set of integrated visual regions and corresponding textual concepts, reflecting certain semantics. To this end, we build the Mutual Iterative Attention (MIA) module, which integrates correlated visual features and textual concepts, respectively, by aligning the two modalities. We evaluate the proposed approach on two representative vision-and-language grounding tasks, i.e., image captioning and visual question answering. In both tasks, the semantic-grounded image representations consistently boost the performance of the baseline models under all metrics across the board. The results demonstrate that our approach is effective and generalizes well to a wide range of models for image-related applications. (The code is available at https://github.com/fenglinliu98/MIA)

研究の動機と目的

• 視覚領域とテキスト概念の両方を反映する統合的な画像表現の必要性を動機づける。
• 監視なしでマルチモーダル特徴を反復的に整列・統合する仕組み（MIA）を提案する。
• 画像キャプションと VQA のデータセットでベースラインモデルを改善することで汎用性を示す。
• 意味論的に基づく表現がモデルアーキテクチャと特徴タイプを超えて頑健であることを示す。

提案手法

• 画像を paired visual features (grid or RoI) とテキスト概念 (visual words) で表現する。
• Mutual Attention を用いて領域間の特徴を整列させる。マルチヘッド注意機構とフィードフォワードの洗練を含む。
• 共通パラメータで反復的に相互注意を適用し（N 回）、I_N と T_N を生成してから MIA(I,T)=LayerNorm(I_N+T_N) として結合する。
• 整列済み監督を必要とせず、下流タスク（キャプショニングと VQA）に MIA を組み込むことにより遠隔監督学習を採用する。
• 最良の検証性能を得るための実装の詳細として、8 ヘッド（k=8）と 2 回の反復（N=2）を提供する。

実験結果

リサーチクエスチョン

• RQ1 反復的なクロスモーダル整列（MIA）により、_downstream の視覚言語タスクを改善する意味論的に基づく画像表現を生成できるか。
• RQ2 統合表現は画像キャプションと VQA のベースライン全体で従来の単一ドメイン特徴を上回るか。
• RQ3 反復回数は整列品質とタスク性能にどのように影響するか。
• RQ4 改善は単に他のモダリティからのより多くの特徴を加えることによるものではなく、意味論的基盤によるものか。
• RQ5 MIA は異なる視覚特徴（grid vs RoI）およびテキスト概念セット間で一般化するか。

主な発見

• MIA は画像キャプショニング（SPICE および CIDEr の向上）と VQA の精度においてベースラインを一貫して改善する。
• 統合表現を用いることで、ベースラインは個別特徴ではなく意味論的に基づいた特徴集合に対してアテンションをかけられるようになる。
• MIA は RNN ベース（Up-Down）および自己注意（Transformer）キャプショニングモデルの両方で利得を達成し、VQA v2.0 では BAN/Up-Down を改善する。
• 単一モーダル入力を MIA で refined した場合でも改善が見られ、I_N と T_N の両方を組み合わせると大きな利得が得られる。
• 反復分析では最適な性能はおおよそ N=2 付近であり、過剰な反復は情報を過度に集中させて低下させる。