Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] Uni3DETR: Unified 3D Detection Transformer

Zhenyu Wang, Yali Li|arXiv (Cornell University)|Oct 9, 2023
Advanced Neural Network Applications被引用数 5
ひとこと要約

Uni3DETRは、1つのアーキテクチャを用いて屋内および屋外のシーンを統合的に処理する統一された3次元オブジェクト検出Transformerを提案する。ポイントボクセル相互作用を活用し、シーンに適した特徴抽出のための学習可能でないクエリポイントと学習可能なクエリポイントの混合を採用し、分離された3次元IoU損失を適用することで、ドメイン特化のない多様なデータセットで最先端の性能を達成した。

ABSTRACT

Existing point cloud based 3D detectors are designed for the particular scene, either indoor or outdoor ones. Because of the substantial differences in object distribution and point density within point clouds collected from various environments, coupled with the intricate nature of 3D metrics, there is still a lack of a unified network architecture that can accommodate diverse scenes. In this paper, we propose Uni3DETR, a unified 3D detector that addresses indoor and outdoor 3D detection within the same framework. Specifically, we employ the detection transformer with point-voxel interaction for object prediction, which leverages voxel features and points for cross-attention and behaves resistant to the discrepancies from data. We then propose the mixture of query points, which sufficiently exploits global information for dense small-range indoor scenes and local information for large-range sparse outdoor ones. Furthermore, our proposed decoupled IoU provides an easy-to-optimize training target for localization by disentangling the xy and z space. Extensive experiments validate that Uni3DETR exhibits excellent performance consistently on both indoor and outdoor 3D detection. In contrast to previous specialized detectors, which may perform well on some particular datasets but suffer a substantial degradation on different scenes, Uni3DETR demonstrates the strong generalization ability under heterogeneous conditions (Fig. 1). Codes are available at \href{https://github.com/zhenyuw16/Uni3DETR}{https://github.com/zhenyuw16/Uni3DETR}.

研究の動機と目的

  • 点密度やオブジェクト分布の違いにより、屋内と屋外の両方のシーンに一般化可能な統一された3次元検出フレームワークが不足しているという問題に対処する。
  • 屋内用のグループ化ベースの検出器と屋外用のBEVベースの検出器という、シーン別に特化した検出器の限界を克服し、両方に適合する1つのアーキテクチャを設計する。
  • スパースな屋外データのメモリ効率と密度の高い屋内シーンの特徴忠実度の両立を図る特徴抽出バックボーンを開発する。
  • シーン特化のハイパーパramータやモダリティ特化の入力（例：RGB）に依存しないようにすることで、データセット間での堅牢な一般化を実現する。

提案手法

  • スパースかつ密度の高い3次元畳み込みバックボーンをハイブリッドに採用し、スパースな屋外シーンにおけるオブジェクト中心情報を保持するとともに、密度の高い屋内シーンでの高さ圧縮を回避する。
  • 学習可能なクエリポイントとボクセル特徴の間のクロスアテンションを有する検出トランスフォーマーを採用し、ロバストな3次元予測を実現するためのポイント・ボクセル連携を可能にする。
  • クエリポイントの混合を導入：学習可能なクエリは局所的・スパースな屋外検出に、非学習可能なクエリ（サンプリングされたポイントおよびボクセルから得られる）はグローバルで密度の高い屋内コンテキストに適している。
  • 分離された3次元IoU損失を提案し、$x,y$ と $z$ 空間の監視を分離することで、トレーニングの安定性と局所化精度を向上させる。
  • RGBやBEV特化のインダクティブバイアスを避けるために、点群のみに依存することで、シーン特化のデータ分布に対して不変なモデル設計を実現する。
  • データセット間で統一されたボクセルサイズ戦略を採用し、データ関連のハイパーパramータを標準化しても、その堅牢性を示した。
Figure 1 : The high-level overview comparing the performance of 12 existing 3D detectors and our Uni3DETR on a broad range of 3D object detection datasets: indoor datasets SUN RGB-D (SUN), ScanNet, S3DIS, and outdoor datasets KITTI, nuScenes (nuS). The metrics are AP 25 for indoor datasets, AP 70 on
Figure 1 : The high-level overview comparing the performance of 12 existing 3D detectors and our Uni3DETR on a broad range of 3D object detection datasets: indoor datasets SUN RGB-D (SUN), ScanNet, S3DIS, and outdoor datasets KITTI, nuScenes (nuS). The metrics are AP 25 for indoor datasets, AP 70 on

実験結果

リサーチクエスチョン

  • RQ1アーキテクチャの特化なしに、密度の高い屋内とスパースな屋外の両方のポイントクラウドで強力な性能を達成できる1つの3次元検出フレームワークは可能か？
  • RQ2検出トランスフォーマーは、屋内と屋外環境における点群の特性（密度、分布、スケール）の相違を効果的に処理できるか？
  • RQ3ファインチューニングやモダリティ特化の適応なしに、統一アーキテクチャが複数のデータセットに一般化できる範囲はどの程度か？
  • RQ43次元IoU損失を分離することで、多様な3次元検出シナリオにおけるトレーニング収束性と局所化精度が向上するか？
  • RQ5学習可能と非学習可能なクエリポイントの混合は、多様なシーンにおいて局所的およびグローバルな特徴抽出を効果的にバランスできるか？

主な発見

  • Uni3DETRは、nuScenesデータセットで67.0% AP、SUN RGB-Dデータセットで47.3% APを達成し、両方の屋内・屋外ベンチマークで専用検出器を上回った。
  • KITTIデータセットでは72.0% NDSを達成し、既存の屋外特化検出器を上回り、中程度の難易度の車両検出において優れた性能を示した。
  • クロスデータセット評価では、SUN RGB-Dで学習したUni3DETRがScanNetで50.9% APを達成し、Cube R-CNN比で16.2%の向上を示し、優れた一般化能力を示した。
  • KITTIとnuScenesの両方で同じボクセルサイズ（0.05m, 0.05m, 0.1m）を適用した場合、Uni3DETRは優れた性能を維持し、データ関連ハイパーパramータの標準化に対しても堅牢であることを証明した。
  • 図1における一般化ポリゴンの面積が大きいことから、12の既存の検出器と比較して、さまざまなデータセットで一貫した性能を示し、シーンタイプにかかわらず劣化が最小限に抑えられていることが示された。
  • 分離されたIoU損失により最適化が容易になり、特に3次元IoUが伝統的に不安定である$z$軸において、局所化精度が向上した。
Figure 3 : The overall architecture of our Uni3DETR. We use the hybrid combination of 3D sparse convolution and dense convolution for 3D feature extraction, and our detection transformer for set prediction. The mixture of query points contributes to the sufficient usage of global and local informati
Figure 3 : The overall architecture of our Uni3DETR. We use the hybrid combination of 3D sparse convolution and dense convolution for 3D feature extraction, and our detection transformer for set prediction. The mixture of query points contributes to the sufficient usage of global and local informati

より良い研究を、今すぐ始めましょう

論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。