[論文レビュー] Omni3D: A Large Benchmark and Model for 3D Object Detection in the Wild

Garrick Brazil, Kumar, Abhinav+4 more|arXiv (Cornell University)|Jul 21, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、98種類のカテゴリにわたり、300万個の3Dオブジェクトインスタンスを含む23万4千枚の画像を有する大規模なベンチマーク「Omni3D」と、仮想深度を用いてスケール-深度の曖昧さを軽減することで、多様なシーンやカメラタイプに一般化可能な統合的3Dオブジェクト検出器「Cube R-CNN」を提案する。モデルは最先端の性能を達成し、KITTIでは前人最高の手法よりも最大9.5%高いAPを、Omni3Dでは7.9%高いAPを記録した。さらに、COCOのような未観測ドメインに対してもゼロショット一般化が可能である。

ABSTRACT

Recognizing scenes and objects in 3D from a single image is a longstanding goal of computer vision with applications in robotics and AR/VR. For 2D recognition, large datasets and scalable solutions have led to unprecedented advances. In 3D, existing benchmarks are small in size and approaches specialize in few object categories and specific domains, e.g. urban driving scenes. Motivated by the success of 2D recognition, we revisit the task of 3D object detection by introducing a large benchmark, called Omni3D. Omni3D re-purposes and combines existing datasets resulting in 234k images annotated with more than 3 million instances and 98 categories. 3D detection at such scale is challenging due to variations in camera intrinsics and the rich diversity of scene and object types. We propose a model, called Cube R-CNN, designed to generalize across camera and scene types with a unified approach. We show that Cube R-CNN outperforms prior works on the larger Omni3D and existing benchmarks. Finally, we prove that Omni3D is a powerful dataset for 3D object recognition and show that it improves single-dataset performance and can accelerate learning on new smaller datasets via pre-training.

研究の動機と目的

• 都市走行や屋内シーンといった狭域ドメインにとどまらない、大規模かつ多様なベンチマークの不足に対処すること。
• 多様なカメラ内部パrameter、シーンタイプ、オブジェクトカテゴリに一般化可能な統合的3Dオブジェクト検出モデルの開発。
• 変動する焦点距離に起因するスケール-深度の曖昧さを軽減するため、仮想深度を正規化手法として導入すること。
• Omni3Dで事前学習することで、より小さなドメイン特化型ベンチマークでの性能向上を実証すること。
• スケーラブルなベンチマークと効率的な評価ツールの公開により、3D検出研究の加速を図ること。

提案手法

• Omni3Dは、SUN RGB-D、ARKitScenes、Hypersim、Objectron、KITTI、nuScenesの既存データセットを再利用・統合することで構築され、98種類のカテゴリにわたり23万4千枚の画像と300万個の3Dバウンディングボックスアノテーションが含まれる。
• 3Dの交差率（IoU）計算を450倍高速化する新規アルゴリズムを導入し、大規模ベンチマークにおける効率的な評価を可能にした。
• Cube R-CNNは、トランスフォーマー基盤と3Dリージョンプロポーザル機構を用いて、1枚の画像から3D位置、サイズ、姿勢を予測する統合的かつエンドツーエンドの3Dオブジェクト検出器である。
• 仮想深度は正規化戦略として導入：すべての画像が固定された内部パrameterを持つ共通の仮想カメラ空間に射影され、焦点距離の違いに起因するスケール-深度の曖昧さが低減される。
• 仮想深度を活用することで、画像リスケーリングなどのデータ拡張技術が可能になり、一般化性能と学習安定性が向上する。
• モデルはOmni3Dの全データセット上でエンドツーエンドに学習され、KITTIやCOCOを含む複数のベンチマークで評価され、COCOへのゼロショット転送も実施された。

実験結果

リサーチクエスチョン

• RQ1 焦点距離やオブジェクトカテゴリが異なる多様な現実世界のシーンにおいて、1つの3Dオブジェクト検出器が効果的に一般化できるか？
• RQ2 Omni3Dのような大規模かつマルチドメインのベンチマークで事前学習することで、より小さなドメイン特化型3D検出ベンチマークでの性能がどの程度向上するか？
• RQ3 変動する焦点距離下での単眼3D検出において、仮想深度はスケール-深度の曖昧さをどの程度軽減できるか？
• RQ4 統合モデルは、KITTI や SUN RGB-D のような個別データセットで訓練された特化型モデルを上回ることができるか？
• RQ5 効率的な3D IoU計算は、大規模3D検出ベンチマークにおける学習・評価のスケーラビリティにどのような影響を及ぼすか？

主な発見

• Cube R-CNNは、前人最高手法GUPNetよりもKITTIベンチマークで最大9.5%高いAPを達成した。
• Omni3Dベンチマークでは、PGDよりも7.9%高いAPを記録し、多様なシーンにわたる強力な一般化性能を示した。
• Omni3Dで事前学習することで、都市系ベンチマークでは最大5.3%高いAP、屋内系ベンチマークでは最大3.8%高いAPが達成された。
• 提案された3D IoU計算アルゴリズムは、従来手法よりも450倍高速であり、大規模データセットにおける学習・評価の効率化を可能にした。
• Cube R-CNNは未観測ドメインに対しても効果的に一般化でき、特に屋内シーンにおいて、未知のカメラ内部パrameterを持つCOCO画像に対してもゼロショット検出が可能であった。
• Omni3Dの長尾カテゴリでは性能が低下し、上位50カテゴリではAP3Dが23.3%であったのに対し、全98カテゴリでは14.1%に低下した。これは、少サンプル3D認識における課題を浮き彫りにした。