[論文レビュー] 2nd Place Solution to the GQA Challenge 2019

Shijie Geng, Ji Zhang+3 more|arXiv (Cornell University)|Jul 16, 2019

Multimodal Machine Learning Applications参考文献 23被引用数 6

ひとこと要約

この論文はGQA Challenge 2019の2位解決策を提示しており、1枚の画像に関する全質問における頻出語の統計的特徴を、視覚的質問応答の知識ベースとして活用する手法を提案している。視覚的特徴の代わりに質問頻度から得られる統計的特徴を用いることで、真値特徴に近い性能を達成しており、特徴抽出が視覚的推論における主なボトルネックであることが示されている。推論能力そのものではなく、特徴抽出が主な障壁であることを実証している。

ABSTRACT

We present a simple method that achieves unexpectedly superior performance for Complex Reasoning involved Visual Question Answering. Our solution collects statistical features from high-frequency words of all the questions asked about an image and use them as accurate knowledge for answering further questions of the same image. We are fully aware that this setting is not ubiquitously applicable, and in a more common setting one should assume the questions are asked separately and they cannot be gathered to obtain a knowledge base. Nonetheless, we use this method as an evidence to demonstrate our observation that the bottleneck effect is more severe on the feature extraction part than it is on the knowledge reasoning part. We show significant gaps when using the same reasoning model with 1) ground-truth features; 2) statistical features; 3) detected features from completely learned detectors, and analyze what these gaps mean to researches on visual reasoning topics. Our model with the statistical features achieves the 2nd place in the GQA Challenge 2019.

研究の動機と目的

• 複雑で自然な画像データセットにおける視覚的質問応答（VQA）において、特徴抽出と推論能力のどちらが主なボトルネックであるかを調査すること。
• 真値視覚的特徴、検出された視覚的特徴、および質問頻度から導出された統計的特徴を用いた際の性能差を評価すること。
• 高品質な知識が提供されれば、視覚的に検出されていなくても推論モデルがほぼ理想に近い性能を達成できることを示すこと。
• ハイパニム伝播、形容詞／非形容詞分離、述語グループ化といったアーキテクチャ的選択が属性および関係検出に与える影響を分析すること。
• 特徴タイプごとのアブレーションスタディに基づき、自然画像における視覚的認識の難易度が、複雑な推論よりも難しいことを実証的根拠で示すこと。

提案手法

• モデルは2段階のパイプラインを採用：視覚的特徴抽出、その後にMAC（構成的アテンションネットワーク）を基盤とする複合的推論。
• 物体検出にはFaster R-CNNを、属性および関係検出には先行研究を参考にしたカスタムモデルを用い、損失関数およびデータ処理を修正して学習。
• 物体カテゴリの複数形を単数形に正規化することでmAPが8.42から10.08に向上した。
• 推論時にWordNetの階層をたどってハイパニムを追加し、カテゴリが真である場合、そのハイパニムも真であることを保証した。
• 形容詞と非形容詞を、WordNetにおける形容詞のシノニム集合が空でないかどうかで分離し、視覚的性質を別々にモデル化可能とした。
• 関係述語を空間的、相互作用的、その他というカテゴリにグループ化し、動詞のシノニム集合のチェックにより相互作用タイプをフィルタリングした。

実験結果

リサーチクエスチョン

• RQ1 VQAモデルの性能差は、視覚的特徴抽出の制限にあるのか、それとも推論能力の制限にあるのか？
• RQ2 真値特徴、検出特徴、質問頻度から導出された統計的特徴を入力とした場合、推論モデルの性能はどのように変化するか？
• RQ3 質問語の語彙的パターンの統計的特徴が、視覚的検出の誤りをどれほど補完できるか？
• RQ4 ハイパニム伝播やカテゴリグループ化といったアーキテクチャ的選択が、検出精度および下流の推論に与える影響は何か？
• RQ5 検出特徴と統計的特徴の間の性能差が、自然画像からの視覚的認識がVQAにおける主なボトルネックであることを示唆しているか？

主な発見

• 頻出質問語からの統計的特徴を用いることで、MACモデルは検証精度76.15%を達成し、真値性能81.14%に近づいた。
• 検出特徴（MACで62.98%）と統計的特徴（76.15%）の間の性能差が、統計的特徴と真値特徴の差よりも顕著に大きく、検出エラーが失敗の主な要因であることを示した。
• MS-CAモデルは統計的特徴を用いて検証精度69.67%を達成し、強力な推論モデルですら、より良い知識表現の恩恵を大きく受けることが示された。
• アブレーションスタディの結果、モデル間の性能差は特徴タイプの差よりも小さく、特徴の質がモデルアーキテクチャよりも重要であることが示された。
• 推論時にハイパニムを用いることで検出のロバスト性が向上し、形容詞と非形容詞を分離することで属性検出が向上し、より焦点を当てた学習が可能になった。
• これらの結果は、VQAにおけるボトルネックが推論能力ではなく、自然画像からの視覚的特徴抽出の不正確さにあるという主張を支持している。