[論文レビュー] Cops-Ref: A new Dataset and Task on Compositional Referring Expression Comprehension

Zhenfang Chen, Peng Wang+3 more|arXiv (Cornell University)|Mar 1, 2020

Multimodal Machine Learning Applications参考文献 40被引用数 6

ひとこと要約

本論文では、6つの推論論理（例：鎖状、順序、否定）を組み合わせた新しい表現エンジンを備えた、複雑な視覚的推論を重視する新しいベンチマークデータセットおよびタスク、Cops-Refを紹介する。このタスクでは、類似した視覚的特性を持つ多数の干渉画像の中からターゲットオブジェクトを局所化する必要があり、単純なドメイン間アライメントによる成功を最小限に抑える。最先端モデルの評価とモジュラーハードマイニング戦略の提案にもかかわらず、性能は依然として低く、視覚的グランドイングシステムにおけるより強力な推論能力の必要性を浮き彫りにしている。

ABSTRACT

Referring expression comprehension (REF) aims at identifying a particular object in a scene by a natural language expression. It requires joint reasoning over the textual and visual domains to solve the problem. Some popular referring expression datasets, however, fail to provide an ideal test bed for evaluating the reasoning ability of the models, mainly because 1) their expressions typically describe only some simple distinctive properties of the object and 2) their images contain limited distracting information. To bridge the gap, we propose a new dataset for visual reasoning in context of referring expression comprehension with two main features. First, we design a novel expression engine rendering various reasoning logics that can be flexibly combined with rich visual properties to generate expressions with varying compositionality. Second, to better exploit the full reasoning chain embodied in an expression, we propose a new test setting by adding additional distracting images containing objects sharing similar properties with the referent, thus minimising the success rate of reasoning-free cross-domain alignment. We evaluate several state-of-the-art REF models, but find none of them can achieve promising performance. A proposed modular hard mining strategy performs the best but still leaves substantial room for improvement. We hope this new dataset and task can serve as a benchmark for deeper visual reasoning analysis and foster the research on referring expression comprehension.

研究の動機と目的

• 既存の参照表現データセットの限界に対処する。これらはしばしば単純で短い表現に依存しており、十分な干渉者を欠いているため、視覚的推論能力の評価が不十分である。
• Cops-Refと呼ばれる新しいデータセットとタスクを提案する。これは、豊富な視覚的属性上での6つの推論論理（例：鎖状、順序、否定）の柔軟な組み合わせを用いて表現を生成することで、構成的推論を強調する。
• データセットバイアスを低減するため、参照対象と類似した視覚的特性を持つ複数の干渉オブジェクトを含む新しいテスト設定を導入する。これにより、推論なしのアライメントによる性能向上を最小限に抑える。
• この新しいベンチマーク上で既存の最先端モデルの頑健性を評価し、現在の推論能力のギャップを同定する。
• Cops-Refタスクにおける性能向上をもたらすモジュラーハードマイニング戦略を提案・検証するが、依然として大幅な改善余地が残っている。

提案手法

• 6つの推論論理（'and'、'or'、'order'、'same'、'not'、'chain'）を視覚的属性（例：オブジェクトカテゴリ、位置、属性、相互作用）と組み合わせる新しい表現エンジンを設計し、非常に構成的な参照表現を生成する。
• GQAの実世界画像を用いてCops-Refデータセットを構築し、視覚的リアリズムと意味的豊かさを確保するとともに、参照対象と類似したオブジェクトカテゴリおよび属性を持つ多様な干渉画像を統合する。
• モデルがターゲット画像と複数の干渉画像を含む画像セットから正しい画像を選択する新しいテスト設定を実装する。各干渉画像は、参照対象と異なるレベルの視覚的類似性を持つ。
• 2段階パイプラインを採用する：まず、検索モデル（SCAN-t2i）を用いて候補画像を取得し、次に局所化にMattNetを用いて表現をグランドイングする。
• 類似したモジュラー表現特徴に基づいて、ハードネガティブ例を特定・優先順位付けするモジュラーハードマイニング戦略を提案する。これにより、複雑な干渉者に対してモデルの一般化性能が向上する。
• 異なるハードネガティブマイニング戦略（ランダム、クラスに依存、文書類似度ベース、モジュール固有）を比較するアブレーションスタディを実施し、有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 既存の最先端の参照表現理解モデルは、構成的推論と複雑な干渉構造を強調する新しいベンチマークに一般化できるか？
• RQ2 'order' や 'not' といった推論論理は、'chain' や 'and' よりも複雑な形式に比べて、モデルのパフォーマンスにどの程度寄与するか？
• RQ3 表現の長さはモデルパフォーマンスにどのように影響するか？情報豊かさと推論複雑さのバランスを取る最適な長さが存在するか？
• RQ4 モジュラーハードマイニング戦略は、Cops-Refのような干渉者豊富で推論が重視されるベンチマークで、効果的にモデルパフォーマンスを向上させられるか？
• RQ5 類似した干渉画像の導入は、推論ベースと推論なしのモデル間のパフォーマンスギャップにどのように影響するか？

主な発見

• 提案されたモジュラーハードマイニング戦略を用いた最良のモデルでも、Fullケースでは33.8%の正確度にとどまり、視覚的推論能力のさらなる向上の余地が大きいことが示された。
• 'order' と 'not' の推論形式では、それぞれ84.5%および82.3%の最高正確度を達成した。これは、それらの形式が単純な推論ツリー構造と明確な空間的・除外論理に基づくためと考えられる。
• 中程度の長さの表現（10～20語）が最良のパフォーマンスを示し、十分な情報を提供しつつ、モデルを圧倒するような過剰な複雑さを避けるバランスが取れていると考えられる。
• 「モジュール固有」のハードマイニング戦略が、他のすべての戦略を上回り、特にCat&attrおよびCat&catの干渉設定下で顕著に効果的であった。これは、意味的に類似したネガティブ例を効果的に同定できることを示している。
• 「ランダム」と「文書類似度」のマイニング戦略は、ベースラインに比べて僅かな改善にとどまり、単純なまたはグローバル特徴に基づくサンプリングでは、複雑な干渉構造に対処するには不十分であることが示された。
• 最良のモデルですら、Fullケースで35%の正確度に到達できず、Cops-Refが導入した構成的推論と干渉の複雑さに対して、現在のモデルが頑健でないことが明らかになった。