[論文レビュー] Graph-DETR3D: Rethinking Overlapping Regions for Multi-View 3D Object Detection

Zehui Chen, Zhenyu Li+4 more|arXiv (Cornell University)|Apr 25, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

Graph-DETR3D は、重複領域および境界領域における特徴学習を向上させることで、特に切断されたインスタンスに対して効果を発揮する動的グラフに基づく特徴集約モジュールを提案する。グラフ構造学習と深さ不変のマルチスケールトレーニング戦略を活用することで、nuScenes テストランクイングで 49.5 NDS を達成し、最先端の性能を実現した。

ABSTRACT

3D object detection from multiple image views is a fundamental and challenging task for visual scene understanding. Due to its low cost and high efficiency, multi-view 3D object detection has demonstrated promising application prospects. However, accurately detecting objects through perspective views in the 3D space is extremely difficult due to the lack of depth information. Recently, DETR3D introduces a novel 3D-2D query paradigm in aggregating multi-view images for 3D object detection and achieves state-of-the-art performance. In this paper, with intensive pilot experiments, we quantify the objects located at different regions and find that the "truncated instances" (i.e., at the border regions of each image) are the main bottleneck hindering the performance of DETR3D. Although it merges multiple features from two adjacent views in the overlapping regions, DETR3D still suffers from insufficient feature aggregation, thus missing the chance to fully boost the detection performance. In an effort to tackle the problem, we propose Graph-DETR3D to automatically aggregate multi-view imagery information through graph structure learning (GSL). It constructs a dynamic 3D graph between each object query and 2D feature maps to enhance the object representations, especially at the border regions. Besides, Graph-DETR3D benefits from a novel depth-invariant multi-scale training strategy, which maintains the visual depth consistency by simultaneously scaling the image size and the object depth. Extensive experiments on the nuScenes dataset demonstrate the effectiveness and efficiency of our Graph-DETR3D. Notably, our best model achieves 49.5 NDS on the nuScenes test leaderboard, achieving new state-of-the-art in comparison with various published image-view 3D object detectors.

研究の動機と目的

• マルチビュー 3D モデル検出における主な性能ボトルネック、特に画像の端縁部で切断されたインスタンスに対するローカライゼーション誤差を特定・解決すること。
• 単一ポイントのサンプリングに代えて、動的 3D グラフ構造を用いることで、複数のビューからの特徴集約を改善すること。
• データオーグメンテーション中に視覚的深さの一貫性を維持するため、深さ不変のマルチスケールトレーニング戦略を開発すること。
• マルチビューの監視が未活用されがちな重複領域における検出精度を向上させること。
• 学習可能で適応的な特徴集約メカニズムを用いて、nuScenes ベンチマークで最先端の性能を達成すること。

提案手法

• オブジェクトクエリと 2D 特徴マップの間に 3D グラフを構築する動的グラフ特徴集約（DGFA）モジュールを提案し、グラフメッセージパッシングによりマルチビュー特徴統合を実現する。
• 各オブジェクトクエリのリファレンスポイントを用いて、3D 空間における k 個の近隣点を動的に決定し、適応的特徴サンプリング用の空間グラフを形成する。
• グラフノードをカメラビューに投影して 2D 特徴をサンプリングし、学習可能なアフィニティ行列を用いて統合することで、オブジェクトクエリ表現を精緻化する。
• 画像サイズとオブジェクトの深さを同時にスケーリングする深さ不変のマルチスケールトレーニング戦略を導入し、深さ監視の一貫性を保つ。
• マルチスケールデータオーグメンテーションの検出ヘッドのローカライゼーションへの影響を分離するため、アンタングルドトレーニング変種を採用する。
• DETR3D フレームワークをベースラインとし、グラフベースで適応的な特徴集約を導入することで、3D-2D クエリパラダイムを拡張する。

実験結果

リサーチクエスチョン

• RQ1 なぜ画像の端縁部で切断されたインスタンスは、マルチビュー 3D 検出において依然として主なローカライゼーション誤差要因となるのか？
• RQ2 単一ポイントのサンプリングと比較して、動的グラフ構造学習は重複領域および境界領域における特徴集約をどのように改善できるか？
• RQ3 マルチスケールトレーニングは、視覚ベースの 3D モデル検出器における深さ監視と検出ヘッド性能にどのように影響を与えるか？
• RQ4 標準的なマルチスケールデータオーグメンテーションによって引き起こされる性能低下を、深さ不変のマルチスケールトレーニング戦略が緩和できるか？
• RQ5 グラフベースの特徴集約は、nuScenes のような困難なベンチマークで、どの程度検出精度を向上させられるか？

主な発見

• Graph-DETR3D は、nuScenes テストランクイングで 49.5 NDS を達成し、画像ベースの 3D モデル検出において新たな最先端性能を樹立した。
• DGFA モジュールにより、mAP は単一ポイントベースラインの 29.1 から 31.9 に向上し、重複領域における優れた特徴集約を実証した。
• ヴァニラマルチスケールトレーニングでは、曖昧な深さ監視のため 2.7 mAP の低下が生じ、深さ不変戦略の必要性を浮き彫りにした。
• 深さ不変のマルチスケールトレーニング戦略が最大の向上をもたらし、アンタングルドトレーニング比で 0.2 mAP 向上、ヴァニラトレーニング比で 0.9 mAP 向上を達成した。
• mAOE は 0.527 から 0.460 に改善され、特に切断インスタンスにおいて優れたローカライゼーション精度を示した。
• 広範なアブレーションにより、動的グラフ学習が可視性が限られる領域における表現学習を効果的に向上させることを確認した。