[論文レビュー] Structured Attentions for Visual Question Answering

Chen Zhu, Yanpeng Zhao+3 more|arXiv (Cornell University)|Aug 7, 2017

Multimodal Machine Learning Applications参考文献 39被引用数 26

ひとこと要約

本稿では、画像領域間の空間的関係をグリッド構造の条件付きランダムフィールド（CRF）を用いてモデル化する構造的視覚的アテンション機構を提案する。平均場近似およびループ付きベイズ推論（Loopy Belief Propagation, LBP）の推論を微分可能で再帰的な層に展開することにより、畳み込みニューラルネットワーク（CNN）の限られた有効受容 field（ERF）を超えて長距離依存関係を捉えることができ、CLEVR（+9.5%）およびVQA（+1.25%）の最先端性能を達成した。

ABSTRACT

Visual attention, which assigns weights to image regions according to their relevance to a question, is considered as an indispensable part by most Visual Question Answering models. Although the questions may involve complex relations among multiple regions, few attention models can effectively encode such cross-region relations. In this paper, we demonstrate the importance of encoding such relations by showing the limited effective receptive field of ResNet on two datasets, and propose to model the visual attention as a multivariate distribution over a grid-structured Conditional Random Field on image regions. We demonstrate how to convert the iterative inference algorithms, Mean Field and Loopy Belief Propagation, as recurrent layers of an end-to-end neural network. We empirically evaluated our model on 3 datasets, in which it surpasses the best baseline model of the newly released CLEVR dataset by 9.5%, and the best published model on the VQA dataset by 1.25%. Source code is available at https: //github.com/zhuchen03/vqa-sva.

研究の動機と目的

• VQAにおける画像領域間の空間的関係を捉えるために、非構造的視覚的アテンションの限界を解消すること。
• 深層CNNの制限された有効受容 field（ERF）が、離れた領域や重複のない領域の推論を困難にしている問題を克服すること。
• 視覚的アテンションをグリッド構造のCRF上の多変量分布としてモデル化し、領域間の依存関係を符号化すること。
• 平均場近似（Mean Field）およびループ付きベイズ推論（Loopy Belief Propagation, LBP）の反復的CRF推論を、エンドツーエンドのディープラーニングフレームワークに統合可能な微分可能再帰層として実装すること。
• 構造的アテンションの優位性を、特に空間的関係を含む質問を必要とする挑戦的なVQAベンチマークで実証的に検証すること。

提案手法

• 各ノードが画像領域を表し、エッジが空間的関係を符号化するグリッド構造のCRF上に視覚的アテンションを多変量分布としてモデル化する。
• CNN特徴から導出される単一項ポテンシャルと、隣接領域間の空間的文脈をモデル化する二項ポテンシャルを用いる。
• 平均場近似（MF）およびループ付きベイズ推論（LBP）アルゴリズムを再帰層として展開し、反復的にアテンション重みを精緻化する。
• CRF推論におけるメッセージパッシングを微分可能に実装し、反復ステップを逆誤差伝搬可能にする。
• 画像領域へのアテンションと、構造的推論に基づく回答の根拠化を組み合わせることで、VQAに適用する。
• 特徴表現を強化するために、残差特徴（res5c）および高度なプーリング（例：MCB）を用いる。

実験結果

リサーチクエスチョン

• RQ1 視覚的アテンションを構造的CRFとしてモデル化することで、VQAにおける空間的関係の推論が向上するか？
• RQ2 平均場近似またはループ付きベイズ推論による反復的CRF推論が、CNNの有効受容 field を超えてアテンションを向上させるか？
• RQ3 構造的アテンションは、'右に位置する'などの関係的キーワードを捉える能力で非構造的アテンションを上回るか？
• RQ4 提案手法は、空間的推論を要する多様なVQAデータセットに一般化可能か？
• RQ5 異なる推論アルゴリズム（MF 対 LBP）およびネットワークの深さが性能に与える影響は何か？

主な発見

• 提案モデルはVQA 2.0テストセットで68.18%の精度を達成し、最高の公表済みアンサンブルモデルを1.25%上回り、複数選択タスクでは1位、オープンエンドタスクでは2位を記録した。
• CLEVRデータセットでは、最良のベースラインを9.5%上回り、空間的推論タスクにおける強力な性能を示した。
• MF-SIG-T3バージョンが最高の精度を記録し、MCBおよびMLBベースラインを上回った。特にVisual Genomeデータで事前学習した場合に顕著な向上が見られた。
• LBP-SIGモデルはCLEVRではMF-SIGを上回ったが、VQAでは逆に劣り、推論アルゴリズム選択がデータセットに依存することを示した。
• 定性的分析から、MF-SIGは初期段階で背景領域に注目し、段階的に正しいターゲットに焦点を合わせることを学習しているのに対し、非構造的アテンションはキーナンバーズに固定されがちであることが分かった。
• ResNetの有効受容 field（ERF）は、CLEVRおよびVQAの空間的関係質問に対して十分ではなく、特にターゲット領域が遠く離れているか小さい場合に顕著であった。