[論文レビュー] Habitat Synthetic Scenes Dataset (HSSD-200): An Analysis of 3D Scene Scale and Realism Tradeoffs for ObjectGoal Navigation

Mukul Khanna, Yongsen Mao+8 more|arXiv (Cornell University)|Jun 20, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

本論文は、211の実世界のインテリアシーンを模倣した高精細で人為的に作成された3Dシーンデータセット、Habitat Synthetic Scenes Dataset (HSSD-200) を紹介する。このデータセットには18,656体のユニークなオブジェクトモデルが含まれる。ProcTHOR-10Kのような従来の合成データセットに比べて規模が著しく小さいものの、HSSD-122で訓練されたエージェントは、実世界のスキャン環境へのゼロショット一般化性能において、ProcTHORの10,000シーンで訓練されたエージェントを上回り、オブジェクトゴールナビゲーションの性能において、シーンのリアリズムと質がデータセット規模を上回ることを示している。

ABSTRACT

We contribute the Habitat Synthetic Scene Dataset, a dataset of 211 high-quality 3D scenes, and use it to test navigation agent generalization to realistic 3D environments. Our dataset represents real interiors and contains a diverse set of 18,656 models of real-world objects. We investigate the impact of synthetic 3D scene dataset scale and realism on the task of training embodied agents to find and navigate to objects (ObjectGoal navigation). By comparing to synthetic 3D scene datasets from prior work, we find that scale helps in generalization, but the benefits quickly saturate, making visual fidelity and correlation to real-world scenes more important. Our experiments show that agents trained on our smaller-scale dataset can match or outperform agents trained on much larger datasets. Surprisingly, we observe that agents trained on just 122 scenes from our dataset outperform agents trained on 10,000 scenes from the ProcTHOR-10K dataset in terms of zero-shot generalization in real-world scanned environments.

研究の動機と目的

• 合成3Dシーンデータセットのスケールとリアリズムのトレードオフが、オブジェクトゴールナビゲーションのためのエンベッデッドAIエージェントの訓練に与える影響を調査すること。
• ノイズ、アーティファクト、組み立ての柔軟性の欠如といった、既存の合成および再構築された3Dデータセットの限界を解決すること。
• スケールの大きな手続き的データセット（例：ProcTHOR-10K）が、実世界環境へのゼロショット一般化性能に有意義な向上をもたらすかどうかを評価すること。
• 高品質で人為的に作成されたシーンが、はるかに大規模な手続き的生成データセットを上回る一般化性能を示すことを実証すること。

提案手法

• 著者らは、18,656体のユニークで高品質な3Dオブジェクトモデルを用いて、実際のインテリアを模倣した211の高精細で人為的に作成された3Dシーンから成るHSSD-200というデータセットを構築した。
• 視覚的忠実度、シーンの寸法、オブジェクト統計の観点から、HSSD-200と従来の合成データセット（特にProcTHOR）を比較し、リアリズムと実世界のシーンとの相関を検証した。
• HSSDおよびProcTHORのさまざまなサブセット（例：60および122シーン）を用いて、エンドツーエンドの強化学習エージェントを訓練し、スケールとリアリズムの影響を分離した。
• 実世界のスキャンデータセット（HM3DSemおよびMP3D）を用いたゼロショットベンチマークでエージェントの一般化性能を評価した。
• データセット間での性能収束性とロバスト性を評価するために、ファインチューニング実験を実施した。
• HSSD-122とProcTHOR-10Kで訓練されたエージェントを比較するアブレーションスタディを実施し、成功確率およびSPL（Success-Power）指標を制御的に比較した。

実験結果

リサーチクエスチョン

• RQ1 合成3Dシーンデータセットのスケールを拡大することで、実世界環境におけるオブジェクトゴールナビゲーションエージェントのゼロショット一般化性能が向上するか？
• RQ2 視覚的忠実度とリアリズムの観点から、手続き的生成と比較してエージェントの一般化性能に与える影響は何か？
• RQ3 どの程度までデータセットスケールが性能向上に寄与し、どこからシーンの質が主なボトルネックとなるのか？
• RQ4 HSSD-200のような小規模だが高品質な合成データセットが、ProcTHOR-10Kのようなはるかに大規模な手続き的データセットを上回る実世界シーンへの一般化性能を示せるか？

主な発見

• HSSD-200の122シーンで訓練されたエージェントは、HM3DSemバリデーションセットで19.15%の成功率を達成したが、ProcTHOR-10Kの10,000シーンで訓練されたエージェントはわずか12.5%の成功率にとどまった。
• MP3Dバリデーションセットでは、HSSD-122エージェントは14.44%の成功率と5.17のSPLを達成したのに対し、ProcTHOR-122エージェントは5.47%の成功率と1.83のSPLにとどまり、スケールが類似しているにもかかわらず顕著な性能差が生じた。
• ファインチューニング後もHSSDとProcTHORエージェント間の性能差は顕著で、HSSD-122エージェントは48.23%の成功率と23.1のSPL、ProcTHOR-10Kエージェントは48.32%の成功率と21.8のSPLを達成した。
• スケールを一致させた状況（例：60および122シーン）でも、HSSDで訓練されたエージェントは実世界ベンチマークにおいて、成功確率およびSPLの両面でProcTHORで訓練されたエージェントを常に上回った。
• 122から10,000シーンにスケールを拡大しても、ゼロショット一般化性能に顕著な向上は見られず、その恩恵は急速に飽和した。
• シーンのリアリズムと質（正確なオブジェクト配置、視覚的忠実度、現実的なシーン統計）が、一般化性能の主なボトルネックとして浮き彫りになり、スケールの優位性を上回った。