[論文レビュー] CoDA: Collaborative Novel Box Discovery and Cross-modal Alignment for Open-vocabulary 3D Object Detection

Yang Cao, Yihan Zeng+2 more|arXiv (Cornell University)|Oct 4, 2023

Advanced Neural Network Applications被引用数 7

ひとこと要約

本稿では、3D幾何と2Dセマンティックな事前知識を統合して新規3Dオブジェクトボックスを共同で発見し、ポイントクラウド、画像、テキスト間のクロスモodal特徴を発見駆動型クロスモダリティアライメントモジュールで整列する、オープンボリューム3Dオブジェクト検出のための統合フレームワークCoDAを提案する。CoDAはSUN-RGBDおよびScanNetで、最も優れた先行手法よりもmAPが80%向上を達成した。

ABSTRACT

Open-vocabulary 3D Object Detection (OV-3DDet) aims to detect objects from an arbitrary list of categories within a 3D scene, which remains seldom explored in the literature. There are primarily two fundamental problems in OV-3DDet, i.e., localizing and classifying novel objects. This paper aims at addressing the two problems simultaneously via a unified framework, under the condition of limited base categories. To localize novel 3D objects, we propose an effective 3D Novel Object Discovery strategy, which utilizes both the 3D box geometry priors and 2D semantic open-vocabulary priors to generate pseudo box labels of the novel objects. To classify novel object boxes, we further develop a cross-modal alignment module based on discovered novel boxes, to align feature spaces between 3D point cloud and image/text modalities. Specifically, the alignment process contains a class-agnostic and a class-discriminative alignment, incorporating not only the base objects with annotations but also the increasingly discovered novel objects, resulting in an iteratively enhanced alignment. The novel box discovery and crossmodal alignment are jointly learned to collaboratively benefit each other. The novel object discovery can directly impact the cross-modal alignment, while a better feature alignment can, in turn, boost the localization capability, leading to a unified OV-3DDet framework, named CoDA, for simultaneous novel object localization and classification. Extensive experiments on two challenging datasets (i.e., SUN-RGBD and ScanNet) demonstrate the effectiveness of our method and also show a significant mAP improvement upon the best-performing alternative method by 80%. Codes and pre-trained models are released on the project page.

研究の動機と目的

• トレーニング時に見られなかった新規3Dオブジェクトカテゴリを検出する課題に取り組むこと。ただし、ベースカテゴリのアノテーションは限定的である。
• カテゴリが無限に拡張可能なオープンボリューム設定下で、新規3Dオブジェクトの局所化と分類の二重の課題を克服すること。
• トレーニング中に3Dおよび2Dの事前知識から直接新規オブジェクト発見を学ぶことで、外部の2Dオープンボリューム検出モデルへの依存を排除すること。
• 新規オブジェクトの局所化とクロスモダリティ特徴アライメントの両方を相互フィードバックによって向上させる、共同学習フレームワークの構築。
• 推論時に2D画像入力を分類に使用せず、ポイントクラウドのみを入力として用いるエンドツーエンド3D検出を実現すること。

提案手法

• ポイントクラウド特徴からの3Dボックス幾何的事前知識と、CLIPからの2Dセマンティック事前知識を活用して、トレーニング中に新規オブジェクトの疑似3Dボックスラベルを生成する3D新規オブジェクト発見（3D-NOD）戦略を提案する。
• ベースカテゴリおよび発見された新規オブジェクトボックスを用いて、クラスに依存しないおよびクラスに特化した特徴アライメントを実行する、発見駆動型クロスモダリティアライメント（DCMA）モジュールを設計する。
• カテゴリの監視なしに、オブジェクト候補レベルで3Dおよび2D特徴をアライメントするボックス単位の特徴蒸留機構を実装する。
• 対照的学習を用いて、大規模でオープンなボリュームの語彙をカバーするCLIPテキスト特徴と3Dオブジェクト特徴をアライメントし、アノテート済みのベースカテゴリと発見された新規カテゴリの両方を統合する。
• 発見されたボックスがアライメントを改善し、より良いアライメントが局所化精度を向上させるという相互フィードバックを実現する、エンドツーエンドで3D-NODとDCMAを共同最適化する。
• ベースカテゴリの3Dポイントクラウドアノテーションのみを用いてモデルを学習し、新規カテゴリについては、疑似ラベル化を通じてCLIPのゼロショット能力を活用する。

実験結果

リサーチクエスチョン

• RQ1 外部の2D検出モデルに依存せずに、2D検出モデルに依存せずに、オープンボリューム設定における3Dオブジェクト検出を効果的に拡張できるか？
• RQ2 限定的な3Dアノテーションと、ビジョン・ランゲージモデルからのクロスモダリティ事前知識のみを用いて、どのように新規3Dオブジェクトボックスを発見できるか？
• RQ3 オブジェクト発見とクロスモダリティアライメントの共同学習が、ベースカテゴリおよび新規カテゴリの両方の検出性能をどの程度向上できるか？
• RQ4 一元化されたフレームワークは、推論時にポイントクラウド入力のみを用いて、正確な局所化とゼロショット分類の両方を同時に達成できるか？
• RQ5 新規ボックス発見とクロスモダリティアライメントの協調的フィードバックが、全体の検出性能をどの程度向上させるか？

主な発見

• CoDAは、SUN-RGBDおよびScanNetの両データセットで、最も優れた代替手法よりもmAPが80%相対的に向上した。
• ScanNetv2では、CoDAはポイントクラウドのみを入力として用いることで、分類に2D画像入力を必要とする手法を上回るmean AP 46.30%を達成した。
• 定性的な比較において、ドレッサーおよびナイトスタンドなど、以前に見られなかったカテゴリを効果的に検出でき、新規オブジェクトへの強力な一般化能力を示した。
• OV-3DET [15] と同一の設定で公平に比較した結果、20カテゴリの平均APが1.3ポイント高く、外部の2D検出モデルに依存しないにもかかわらず、その優位性を裏付けた。
• アブレーションスタディの結果、3D-NODおよびDCMAの両方が性能向上に顕著に寄与しており、協調的学習による相互改善が確認された。
• CoDAは、ベースカテゴリおよび新規カテゴリの両方で最先端の性能を達成し、両ベンチマークデータセットのすべてのAPおよびAR指標で一貫した向上を示した。