[論文レビュー] Rel3D: A Minimally Contrastive Benchmark for Grounding Spatial Relations in 3D

Ankit Goyal, Kaiyu Yang+2 more|arXiv (Cornell University)|Dec 2, 2020

Multimodal Machine Learning Applications参考文献 58被引用数 13

ひとこと要約

本稿では、データセットバイアスを低減するために最小限の対照的シーンペアを用いた、空間関係の接地のための最初の大規模で人間がアノテートした3次元ベンチマークであるRel3Dを紹介する。3次元幾何学的および意味的監視が高精度な空間関係予測を可能にし、最小限の対照的データがモデルの頑健性とサンプル効率を向上させることを示している。

ABSTRACT

Understanding spatial relations (e.g., "laptop on table") in visual input is important for both humans and robots. Existing datasets are insufficient as they lack large-scale, high-quality 3D ground truth information, which is critical for learning spatial relations. In this paper, we fill this gap by constructing Rel3D: the first large-scale, human-annotated dataset for grounding spatial relations in 3D. Rel3D enables quantifying the effectiveness of 3D information in predicting spatial relations on large-scale human data. Moreover, we propose minimally contrastive data collection -- a novel crowdsourcing method for reducing dataset bias. The 3D scenes in our dataset come in minimally contrastive pairs: two scenes in a pair are almost identical, but a spatial relation holds in one and fails in the other. We empirically validate that minimally contrastive examples can diagnose issues with current relation detection models as well as lead to sample-efficient training. Code and data are available at https://github.com/princeton-vl/Rel3D.

研究の動機と目的

• ロボット工学およびビジョン分野における空間関係の接地のための、大規模かつ高品質な3次元データセットの不足に対処する。
• 新規な最小限の対照的データ収集法を導入することで、空間関係認識におけるデータセットバイアスを低減する。
• 3次元幾何学的および意味的要因（例：位置、スケール、ポーズ）が空間関係理解に与える影響を体系的・定量的に分析する。
• 豊富な3次元監視情報を用いて、3次元空間推論のためのニューラルモデルを評価・改善するためのベンチマークを提供する。
• 3次元空間理解の転移可能性が2次元画像ベースの空間関係認識に与える影響を検討する。

提案手法

• アマゾンMechanical Turkを用いて、人間がアノテートした空間関係を備えた大規模な合成3次元データセットを構築する。
• 同一のシーンだが、1つだけ空間関係が成り立つ・成り立たないという差異を持つ最小限の対照的シーンペアを用い、誤った相関関係を低減する。
• クラウドソーシングによるデータ収集：作業者が指示に従って3次元シーンに物体を配置し、空間関係を検証する。
• 豊富な3次元監視情報を抽出する：各シーンの物体の位置、ポーズ、スケール、深度、セグメンテーションマスク。
• 3次元特徴を用いて、Rel3Dベンチマーク上でベースラインモデル（例：VtranE、VipCNN、DRNet、PPFRCN、MLP）を訓練・評価する。
• 3次元監視および対照的設計の影響を明確に分離するために、モデル間およびアブレーションの比較を行う。

実験結果

リサーチクエスチョン

• RQ1 2次元ベースラインと比較して、3次元幾何学的および意味的監視は空間関係の接地にどの程度向上効果をもたらすか？
• RQ2 最小限の対照的データ収集法は、空間関係認識におけるデータセットバイアスを効果的に低減できるか？
• RQ3 特定の3次元要因（例：物体のポーズ、スケール、正面方向）は、空間関係認識におけるモデル性能にどのように影響するか？
• RQ4 最小限の対照的例題で学習させることで、サンプル効率が向上し、モデルの頑健性が高まるか？
• RQ5 Rel3Dで学習した3次元空間理解は、2次元画像ベースの空間関係認識の性能向上に寄与できるか？

主な発見

• 人間がアノテートしたRel3Dベンチマークは、30種類の空間関係において平均正答率0.946を達成し、その品質と複雑さが裏付けられている。
• 最小限の対照的データ収集により、モデルの誤ったヒントへの依存が顕著に低減され、一般化性能が向上しバイアスが減少した。
• 3次元監視により顕著な性能向上が得られた：最良のモデル（アラインド絶対特徴を用いたMLP）はRel3Dで平均F1スコア0.965を達成し、特定の関係では2次元ベースラインを最大15%上回った。
• 最小限の対照的ペアで学習したモデルは、サンプル効率が向上し、言語バイアス（例：'on'が'under'よりも頻出）を悪用する傾向が低減された。
• アラインド絶対3次元特徴を用いたMLPは、最先端の性能（平均F1スコア0.965）を達成しており、物体位置の幾何学的アラインメントが正確な空間推論に不可欠であることを示している。
• 関係ごとの人間の正答率が0.946～0.988の範囲に分布していることから、フレームオブリファレンス依存性や常識的推論を含む、洗練された空間的意味論がデータセットに反映されていることが示された。