[論文レビュー] MoVie: Revisiting Modulated Convolutions for Visual Counting and Beyond

Duy-Kien Nguyen, Vedanuj Goswami+1 more|arXiv (Cornell University)|Apr 24, 2020

Video Surveillance and Tracking Methods参考文献 62被引用数 15

ひとこと要約

MoVie は、1回の順方向伝搬で画像特徴を暗黙的に推論するクエリ変調型畳み込みボトルネックを用いて、視覚的数え上げのための新規で効率的な手法を提案する。HowMany-QA や TallyQA といった数え上げベンチマークで最先端の性能を達成し、COCO オブジェクト数え上げでも先行手法を上回り、汎用的 VQA モデルを「数」に関する質問に最適化することで、2020年 VQA コンテストで1位を獲得した。

ABSTRACT

This paper focuses on visual counting, which aims to predict the number of occurrences given a natural image and a query (e.g. a question or a category). Unlike most prior works that use explicit, symbolic models which can be computationally expensive and limited in generalization, we propose a simple and effective alternative by revisiting modulated convolutions that fuse the query and the image locally. Following the design of residual bottleneck, we call our method MoVie, short for Modulated conVolutional bottlenecks. Notably, MoVie reasons implicitly and holistically and only needs a single forward-pass during inference. Nevertheless, MoVie showcases strong performance for counting: 1) advancing the state-of-the-art on counting-specific VQA tasks while being more efficient; 2) outperforming prior-art on difficult benchmarks like COCO for common object counting; 3) helped us secure the first place of 2020 VQA challenge when integrated as a module for 'number' related questions in generic VQA models. Finally, we show evidence that modulated convolutions such as MoVie can serve as a general mechanism for reasoning tasks beyond counting.

研究の動機と目的

• 明示的な記号的数え上げや計算負荷の高い推論を回避する、汎用的で効率的な視覚的推論モジュールの開発。
• 変調型畳み込みによる画像特徴とクエリ特徴の局所的融合を通じて、VQA タスクにおける視覚的数え上げ性能の向上。
• 変調型畳み込みが数え上げを超えた多様な視覚的タスクにおける推論を強化する一般化可能なメカニズムであることを示すこと。
• MoVie を既存の VQA アーキテクチャに最小限の計算オーバーヘッドで統合し、「数」に関する質問で顕著な精度向上を達成すること。

提案手法

• 各ボトルネックブロックがクエリ埋め込みによって変調される残差ボトルネックブロックを用いることで、画像特徴とクエリ特徴の局所的統合を実現する。
• 特徴マップを1回の順方向伝搬で処理するため、反復的または記号的推論を必要とせず、効率的な推論が可能になる。
• クエリ表現を用いて畳み込みのチャネル別重みを変調し、クエリ文脈に応じて動的に特徴マップを適応させる。
• MoVie の出力を標準的な VQA 特徴と統合することで、VQA モデルに統合し、答えの共同予測を可能にする。
• VQA データセット上で標準的なクロスエントロピー損失を用いてエンドツーエンドで訓練し、パラメータの増加を最小限に抑える。
• 類似度に基づく帰属度分析などのアブレーションおよび可視化技術を用いて、MoVie の寄与を分析し、質問タイプごとの影響を測定する。

実験結果

リサーチクエスチョン

• RQ1 変調型畳み込みは自然画像の数え上げタスクに効果的に適用可能であり、明示的な記号的推論なしに高い性能を達成できるか？
• RQ2 数え上げ固有のベンチマークおよび一般的な VQA ベンチマークにおいて、MoVie は既存手法と比べて精度と効率で優れているか？
• RQ3 汎用的 VQA モデルにおける「数」に関する質問の性能は、MoVie によってどの程度向上するか？
• RQ4 MoVie は数え上げを超えて、論理的推論や空間的推論などの他の視覚的推論タスクにも一般化可能か？
• RQ5 推論プロセスのどの段階で MoVie が最も寄与しているか、また標準的なグローバル統合と比較してどのように異なるか？

主な発見

• MoVie は HowMany-QA および TallyQA で最先端の性能を達成し、従来の記号的数え上げ手法よりも精度が高く、効率的である。
• COCO データセットでは、共通オブジェクトの数え上げにおいて、従来のアプローチを顕著に上回り、優れた一般化性能を示した。
• MCAN および Pythia に統合した場合、VQA 2.0 のテストデブセットで「数」に関する質問の精度が、それぞれ 55.68% から 57.05%、45.98% から 53.25% に向上した。
• MoVie は 2020 年 VQA コンテストで 1 位を獲得し、主に「数」関連の質問で優れた性能を発揮した。
• 可視化の結果、MoVie は「何人いますか？」や「何個ですか？」といった数え上げ関連の質問タイプに最も寄与していることが示され、局所的でクエリ特化された推論の有効性が裏付けられた。
• 「はい／いいえ」や「色」関連の質問に対しても、MoVie は測定可能な利点を示しており、数え上げを超えた広範な推論能力を有していることが示唆された。