[論文レビュー] SpatialSense: An Adversarially Crowdsourced Benchmark for Spatial Relation Recognition

Kaiyu Yang, Olga Russakovsky+1 more|arXiv (Cornell University)|Aug 7, 2019

Multimodal Machine Learning Applications参考文献 40被引用数 4

ひとこと要約

SpatialSenseは、単純な視覚的・言語的バイアスに依存しないように、困難で長尾的な関係に焦点を当てることで、バイアスを低減した敵対的コロケーションによる空間関係認識のための新規ベンチマークを導入している。このデータセットは11,569枚の画像にまたがり17,498個の空間的関係を含み、陽性と陰性のサンプルがバランスされている。これにより、最先端のモデルが著しく低い性能を示すことが明らかとなり、真の空間的推論ではなく表面的な手がかりに依存していることが示された。

ABSTRACT

Understanding the spatial relations between objects in images is a surprisingly challenging task. A chair may be "behind" a person even if it appears to the left of the person in the image (depending on which way the person is facing). Two students that appear close to each other in the image may not in fact be "next to" each other if there is a third student between them. We introduce SpatialSense, a dataset specializing in spatial relation recognition which captures a broad spectrum of such challenges, allowing for proper benchmarking of computer vision techniques. SpatialSense is constructed through adversarial crowdsourcing, in which human annotators are tasked with finding spatial relations that are difficult to predict using simple cues such as 2D spatial configuration or language priors. Adversarial crowdsourcing significantly reduces dataset bias and samples more interesting relations in the long tail compared to existing datasets. On SpatialSense, state-of-the-art recognition models perform comparably to simple baselines, suggesting that they rely on straightforward cues instead of fully reasoning about this complex task. The SpatialSense benchmark provides a path forward to advancing the spatial reasoning capabilities of computer vision systems. The dataset and code are available at https://github.com/princeton-vl/SpatialSense.

研究の動機と目的

• 言語的および視覚的バイアスを避けることのできる、空間的関係認識のためのきめ細やかなベンチマークの欠如に対処すること。
• 敵対的コロケーションを用いて、データセットバイアスを低減すること。ここで、アノテーターは曖昧または誤解を招く例を特定するように明示的に指示される。
• 陽性と陰性の空間的関係が等しく表現されるように、バランスの取れた長尾データセットを構築することにより、推論能力の評価をより適切に行うこと。
• 物体検出を空間的関係認識から分離するために、物体名とバウンディングボックスを入力として提供すること。
• 現在のモデルが2次元レイアウトや言語的パターンを超えて、複雑な空間的配置を理解する能力にどのような限界があるかを露呈するベンチマークを提供すること。

提案手法

• 敵対的コロケーション：人間のアノテーターは、2次元レイアウトや言語的バイアスに基づいて予測しにくい空間的関係を特定するように明示的に指示される。
• 各関係は陽性または陰性としてラベル付けされ、モデルの多数クラスへのバイアスを防ぐために50/50のクラス分布が保たれる。
• このタスクは2値分類として定式化され、2つの物体の名前とバウンディングボックスが与えられたとき、特定の空間的関係が成立するかどうかを予測する。
• 標準化されたアノテーションと曖昧さの低減のため、事前に定義された9つの空間述語（例：'on'、'under'、'in front of'）が使用される。
• 物体の局所化と名前が入力として提供され、空間的関係認識と物体検出が分離される。
• モデルは、3,679個の物体クラスのうち2,139個がたった1回しか出現しないことから、希少な物体クラスにおける一般化能力の評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 敵対的コロケーションは、空間的関係認識データセットにおけるバイアスを効果的に低減できるか？
• RQ2 最先端のモデルは、真の空間的推論ではなく、単純な視覚的または言語的手がかりにどれほど依存しているか？
• RQ3 物体クラスの長尾分布は、空間的関係認識におけるモデルの一般化能力にどのような影響を及えるか？
• RQ4 陽性と陰性のバランスの取れたデータセット分割は、モデル性能の評価をより信頼性あるものにするか？
• RQ5 注意深く選別された敵対的例を含むベンチマークは、現在の視覚モデルの空間的理解における限界をより効果的に露呈できるか？

主な発見

• 最先端のモデルはSpatialSense上で単純なベースラインと同等の性能を示しており、深層的な空間的推論ではなく表面的な手がかりに依存していることが示された。
• このデータセットには11,569枚の画像にまたがり17,498個の関係が含まれており、3,679個のユニークな物体クラスがあり、そのうち2,139個はたった1回しか出現しない。これにより強い長尾分布が形成されている。
• 敵対的コロケーションは言語バイアスを効果的に低減した。Visual Genomeのようなデータセットとは異なり、『on』関係がテーブル関連の関係で89.37％を占めるなど、言語バイアスが顕著に現れるのとは対照的である。
• ベンチマークにより、3次元的な配置の影響で、物体が視覚的に右にあるにもかかわらず、前方にあるかどうかを判断するような、微細な空間的推論タスクでモデルが失敗することが明らかになった。
• 陽性と陰性のバランスの取れたサンプルを用いた2値分類の定式化は、過去の研究で用いられたRecall@K指標よりも信頼性の高い評価を可能にした。
• SpatialSenseで学習したモデルは、従来のベンチマークと比較して顕著な性能低下を示しており、このデータセットの挑戦性と妥当性が裏付けられた。