[論文レビュー] From Pixels to Objects: Cubic Visual Attention for Visual Question Answering

Jingkuan Song, Pengpeng Zeng+2 more|arXiv (Cornell University)|Jun 4, 2022

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）の固有の空間的およびチャネル別構造を活用し、ピクセルレベルの特徴ではなくオブジェクトベースの領域に対して、共同でチャネルと空間の注目を適用する、新しいVQAフレームワークであるCubic Visual Attention（CVA）を提案する。CVAは、標準的なテスト分割において、最先端手法を最大6.8%上回り、COCO-QAでは67.51%、Visual7Wでは63.8%の精度を達成した。

ABSTRACT

Recently, attention-based Visual Question Answering (VQA) has achieved great success by utilizing question to selectively target different visual areas that are related to the answer. Existing visual attention models are generally planar, i.e., different channels of the last conv-layer feature map of an image share the same weight. This conflicts with the attention mechanism because CNN features are naturally spatial and channel-wise. Also, visual attention models are usually conducted on pixel-level, which may cause region discontinuous problems. In this paper, we propose a Cubic Visual Attention (CVA) model by successfully applying a novel channel and spatial attention on object regions to improve VQA task. Specifically, instead of attending to pixels, we first take advantage of the object proposal networks to generate a set of object candidates and extract their associated conv features. Then, we utilize the question to guide channel attention and spatial attention calculation based on the con-layer feature map. Finally, the attended visual features and the question are combined to infer the answer. We assess the performance of our proposed CVA on three public image QA datasets, including COCO-QA, VQA and Visual7W. Experimental results show that our proposed method significantly outperforms the state-of-the-arts.

研究の動機と目的

• すべてのチャネルを等しく扱い、ピクセルレベルで動作する平面的視覚注目メカニズムの限界を解消すること。
• ピクセルレベルの注目に内在する領域不連続性問題を、ピクセルではなくオブジェクト提案に注目することで克服すること。
• CNN特徴の自然な空間的およびチャネル別構造と視覚的注目をよりよく一致させること。
• オブジェクトベースの特徴に対して、チャネル別および空間的注目を共同でモデル化することで、VQAのパフォーマンスを向上させること。
• オブジェクト領域に基づく立方体的注目が、多様な質問タイプにわたる回答予測を顕著に向上させることを実証すること。

提案手法

• 入力画像からトップ-kのオブジェクト領域を抽出するために、オブジェクト提案ネットワーク（例：Faster R-CNN）を用いる。
• 最後の畳み込み層から、各オブジェクト領域に対してD次元のCNN特徴を抽出する。
• 質問の文脈に基づいて動的に意味的チャネルを重みづけるため、質問誘導型のチャネル注目を特徴マップに適用する。
• チャネル注目を施した特徴に対して、領域ベースの空間的注目を適用し、最も関連性の高いオブジェクト領域を選択する。
• マルチモーダル相互作用モジュールを用いて、注目された視覚的特徴と質問埋め込みを統合する。
• 統合された表現に基づいて、分類器を訓練することで最終的な回答を予測する。

実験結果

リサーチクエスチョン

• RQ1 ピクセルレベルの注目に比べ、オブジェクト領域における共同でチャネルと空間の注目を適用することで、VQAのパフォーマンスが向上するか？
• RQ2 空間的およびチャネル別注目を同時にモデル化することで、CNN特徴の階層的性質とよりよく一致するか？
• RQ3 オブジェクトベースの特徴表現により、ピクセルレベルの注目に一般的に見られる領域不連続性問題が軽減されるか？
• RQ4 オープンエンドド、複数選択、オブジェクト、数値、色、位置などの多様な質問タイプにおいて、CVAは最先端モデルと比較して精度で優れているか？
• RQ5 複雑なテキスト注目メカニズムを必要とせず、視覚的注目のみでCVAが優れたパフォーマンスを達成できるか？

主な発見

• COCO-QAのテストデベロップメント分割において、CVAは67.51%のトップ-1精度を達成し、以前の最先端手法HieCoAttを2.11%、QRUを5.01%上回った。
• Visual7Wデータセットでは、CVAは63.8%の平均精度を達成し、MLAN（62.4%）やLSTM-Att（54.3%）を上回ったが、視覚的注目のみを用いた。
• COCO-QAのテストスタンダード分割において、CVAは最高のベースライン（ACK）に対して、オープンエンドドおよび全タイプの質問で6.8%の向上を達成した。
• COCO-QAでは76.70のWUPS0.9を達成し、回答の意味的類似性において優れた性能を示した。
• オブジェクトおよび位置に関する質問では特に優れた性能を示し、それぞれ69.55%および59.93%の精度を達成し、強力な領域的推論能力を示した。
• アブレーションスタディの結果、チャネル注目と空間注目の両方がパフォーマンスに顕著な寄与をしていることが確認され、特に意味的属性選択においてチャネル注目が顕著に有効であった。