[論文レビュー] VQD: Visual Query Detection in Natural Scenes

Manoj Acharya, Karan Jariwala+1 more|arXiv (Cornell University)|Apr 4, 2019

Multimodal Machine Learning Applications参考文献 19被引用数 9

ひとこと要約

本稿では、自然言語クエリに基づいて画像内の0〜複数のオブジェクトを局所化することを要する、視覚的接地タスクの新規定義である視覚的クエリ検出（VQD）を紹介する。これは、出力数が可変である点で、参照表現認識（RER）とは異なり、変動するオブジェクト数を扱える。著者らは、合成クエリを用いた最初のVQDデータセット（VQDv1）を構築し、ベースラインモデルを評価した。その結果、成功するためには文脈理解と複数オブジェクトの扱いが不可欠であることが示され、Vision+QueryモデルがVQDおよびRERベンチマークの両方で単純なベースラインを上回った。

ABSTRACT

We propose Visual Query Detection (VQD), a new visual grounding task. In VQD, a system is guided by natural language to localize a variable number of objects in an image. VQD is related to visual referring expression recognition, where the task is to localize only one object. We describe the first dataset for VQD and we propose baseline algorithms that demonstrate the difficulty of the task compared to referring expression recognition.

研究の動機と目的

• 自然言語クエリに基づいて可変数のオブジェクトを局所化することを要する、視覚的クエリ検出（VQD）を定義・形式化すること。
• 参照表現認識（RER）や視覚的質問応答（VQA）といった既存タスクに見られるデータセットバイアスや単一出力制約といった限界を是正すること。
• 言語バイアスを低減するため、合成的で文脈的に関連するクエリを含む、公開可能な最初のVQDデータセット（VQDv1）の開発とリリース。
• VQDとRERベンチマーク上でベースラインモデルを評価し、特に複数または0個の有効な出力を持つ複雑なクエリを処理する際の課題の増大を示すこと。
• VQA や RER よりもバイアスに弱くないことを示すため、言語のみに依存するパターンではなく、境界ボックスの生成を要する点で、VQDがより良い特性を有すること。

提案手法

• VQDタスクは、自然言語クエリを用いて画像内に0〜N個のオブジェクトを局所化することを定義し、出力はクエリに一致する境界ボックスとする。
• VQDv1データセットは、属性、関係、空間的推論を含むテンプレートを用いた合成クエリによって構築され、多様で文脈的に関連するプロンプトを保証する。
• ベースラインモデルには、DETECT（クエリの最初の名詞に一致するCOCOクラスをFaster R-CNNで検出）、RANDOM（ランダムな候補選択）、Query-Blind（CNN特徴と3層MLPを用いる視覚のみのモデル）、Vision+Query（GRUでエンコードしたクエリ特徴をCNN特徴と連結し、分類に使用）が含まれる。
• すべてのモデルは、ResNet-101バックボーンと非最大抑制（IoU閾値0.7）を用いたFaster R-CNNを使用して領域候補を生成する。
• Vision+Queryモデルは、GRUを用いてクエリを固定長ベクトルにエンコードし、これとCNN特徴を連結して、ReLU活性化関数を用いた3層MLPに通す。
• 評価には、VQDv1（0-Nオブジェクト）ではAP@IoU=0.50、単一オブジェクトVQDv1およびRERではPrecision@1を用い、学習にはバイナリクロスエントロピーと学習率の減少を適用する。

実験結果

リサーチクエスチョン

• RQ1 VQDは、出力の可変性やモデルの一般化能力という観点から、参照表現認識（RER）と比べてどの程度複雑性が高いか？
• RQ2 VQDは1回のクエリに対して0個または複数の有効な境界ボックスを許容するが、RERで学習したモデルはVQDに一般化可能か？
• RQ3 既存のモデルはRERやVQAでどの程度データセットバイアスを利用しているのか？VQDは境界ボックス生成を要するため、そのバイアス低減にどの程度寄与するか？
• RQ4 視覚のみのモデルと視覚＋言語モデルは、自然シーンにおける属性豊富な、または関係的クエリに基づくオブジェクト検出にどの程度有効か？
• RQ5 DETECT や RANDOM といった単純なベースラインの性能限界は何か？また、エンドツーエンド学習モデルと比べてどう異なるか？

主な発見

• Vision+Queryモデルは、RERおよびVQDの両タスクで、DETECT や RANDOM といった単純なベースラインを上回る優れた性能を示し、視覚的・言語的理解の統合の重要性を示している。
• DETECTベースラインは単一オブジェクトVQDでは良好に機能するが、0〜Nオブジェクト設定では著しく失敗しており、複数または0個の有効なオブジェクトを扱う能力の必要性を示している。
• RANDOMベースラインはVQDおよびRERの両方で著しく性能が低く、ランダムなボックス選択では正確な接地が不十分であることが確認された。
• Query-Blindモデル（視覚特徴のみ）はRefCOCOgでトップ2精度71.2％を達成しており、既存のRERデータセットが視覚のみのバイアスに脆弱であることを示している。
• VQDv1データセットは、既存のRERおよびVQAデータセットと比較して言語バイアスが低減されており、合成クエリが誤った言語的相関を最小限に抑えるように設計されているため、データセットバイアスの利用が難しくなっている。