[論文レビュー] Learning to Count Objects in Natural Images for Visual Question Answering

Yan Zhang, Jonathon Hare+1 more|arXiv (Cornell University)|Feb 15, 2018

Multimodal Machine Learning Applications参考文献 25被引用数 155

ひとこと要約

本論文は、オブジェクト提案を重複排除する微分可能なカウントコンポーネントを導入し、VQAのソフトアテンションからの頑健なカウントを可能にする。VQA v2の数値質問で最先端の精度を達成し、他カテゴリへの悪影響を与えずにカウント系指標を改善する。

ABSTRACT

Visual Question Answering (VQA) models have struggled with counting objects in natural images so far. We identify a fundamental problem due to soft attention in these models as a cause. To circumvent this problem, we propose a neural network component that allows robust counting from object proposals. Experiments on a toy task show the effectiveness of this component and we obtain state-of-the-art accuracy on the number category of the VQA v2 dataset without negatively affecting other categories, even outperforming ensemble models with our single model. On a difficult balanced pair metric, the component gives a substantial improvement in counting over a strong baseline by 6.6%.

研究の動機と目的

• 標準のソフトアテンションを用いた場合、VQAにおけるカウントがなぜ難しいのかを特定する。
• オブジェクト提案を重複排除する微分可能なカウントコンポーネントを開発する。
• 注意機構を用いて既存のVQAモデルとカウントコンポーネントを統合する。
• VQA v2および toy counting task でのカウント性能の改善を示す。
• カウントしない性能を損なうことなく、重複する提案に対する頑健性を示す。

提案手法

• 注意重み付きのオブジェクト提案を外積 A = a a^T によるグラフに変換し、提案をノードとして、オーバーラップをエッジとして表現する。
• IoUに基づく距離行列 D で A をマスクしてオブジェクト内の重複エッジを除去し、部分的な重なりを扱う微分可能な活性化を用いる（tilde A = f1(A) ⊙ f2(D)）。
• 各提案について類似度に基づくスケーリング s_i を計算して潜在的な物体の数を推定し、エッジを適切にスケールするカウント行列 C を形成する（C = tildeA ⊙ s s^T + diag(s ⊙ f1(a ⊙ a))）。
• E からカウント c を推定する。c = sqrt(|E|) ただし |E| = sum(C_ij)；隣接整数の間の補間でカウントを符号化するカウントベクトル o を出力する。
• 任意で、アテンションとオーバーラップ統計から信頼度因子を計算して最終出力をスケールする（õ = f8(p_a + p_D) · o）。
• トップ n のアテンション重みを入力として、標準的な VQA モデルにカウントコンポーネントを統合し、コンポーネントの出力を補助特徴として用いる。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト提案上で動作する微分可能なカウント機構は、VQA におけるソフトアテンションのカウント制限を克服できるか。
• RQ2 重なり合うまたは重複するオブジェクト提案を微分可能な方法でデデュプリケートして、真のオブジェクト数を回復できるか。
• RQ3 カウントコンポーネントの組み込みは、他のVQAカテゴリーの性能を低下させることなく、カウント質問の性能を向上させるか。
• RQ4 実践的には、カウントコンポーネントは toy counting task および VQA v2 の number カテゴリでどのように性能を示すか。

主な発見

• カウントコンポーネントはアテンションマップからの頑健なカウントを実現し、標準的な VQA モデルと統合できる。
• VQA v2 では、カウント有効モデルが数値質問の精度でベースラインを上回り、カウントコンポーネントを用いた単一モデルで8-model アンサンブルの一部を上回ることがある。
• この手法はカウント中心の指標を改善し、カウントの難易度の高い balanced pair 指標で 6.6% の顕著な改善を含む。
• toy counting task の実験では、重なり具合やノイズ条件を変えても、単純な attention-sum ベースラインを上回り、特に中程度の重なりで優れていた。
• 定性的分析は、学習された活性化関数がデータセットのパラメータに適応することを示しており、カウント挙動の解釈性を支持している。