[論文レビュー] Sparse Fuse Dense: Towards High Quality 3D Detection with Depth Completion

Xiaopei Wu, Liang Peng+6 more|arXiv (Cornell University)|Mar 18, 2022

Advanced Neural Network Applications被引用数 14

ひとこと要約

本稿では、深度補完によって生成された密度の高い仮想点群と疎な原始点群を融合することでLiDARオンリーディテクションの性能を向上させる、SFDと呼ばれる新規なマルチモodal 3次元オブジェクト検出フレームワークを提案する。3D-GAFを用いた細粒度なRoI特徴融合、同期化されたデータ拡張手法であるSynAugment、および効率的な3次元特徴抽出を実現するCPConvを導入し、KITTIのカー検出ベンチマークで95.52%の3D APという最先端の性能を達成した。

ABSTRACT

Current LiDAR-only 3D detection methods inevitably suffer from the sparsity of point clouds. Many multi-modal methods are proposed to alleviate this issue, while different representations of images and point clouds make it difficult to fuse them, resulting in suboptimal performance. In this paper, we present a novel multi-modal framework SFD (Sparse Fuse Dense), which utilizes pseudo point clouds generated from depth completion to tackle the issues mentioned above. Different from prior works, we propose a new RoI fusion strategy 3D-GAF (3D Grid-wise Attentive Fusion) to make fuller use of information from different types of point clouds. Specifically, 3D-GAF fuses 3D RoI features from the couple of point clouds in a grid-wise attentive way, which is more fine-grained and more precise. In addition, we propose a SynAugment (Synchronized Augmentation) to enable our multi-modal framework to utilize all data augmentation approaches tailored to LiDAR-only methods. Lastly, we customize an effective and efficient feature extractor CPConv (Color Point Convolution) for pseudo point clouds. It can explore 2D image features and 3D geometric features of pseudo point clouds simultaneously. Our method holds the highest entry on the KITTI car 3D object detection leaderboard, demonstrating the effectiveness of our SFD. Codes are available at https://github.com/LittlePey/SFD.

研究の動機と目的

• 遠方および隠蔽領域における疎な点群によるLiDARオンリーディテクションの性能制限を解消すること。
• 従来のマルチモーダル手法で採用されている2次元画像特徴とLiDAR特徴を連結する粗いRoI融合戦略が引き起こす特徴の混同やアライメントのずれを是正すること。
• 視野（FOV）および隠蔽の制約により画像ベースの拡張が適用しづらいマルチモーダル3次元検出における不十分なデータ拡張問題を解決すること。
• 2次元画像特徴と3次元幾何的特徴を同時に効果的に捉えることのできる仮想点群のための効果的で効率的な特徴抽出器を開発すること。
• 統一された表現と高度な拡張技術の導入により、KITTI 3次元検出ベンチマークで最先端の性能を達成すること。

提案手法

• 深度補完により密度の高い仮想点群を生成し、疎なLiDAR点群を豊かにすることで、隠蔽領域および遠方領域における幾何的・意味的情報の向上を図る。
• 3D-GAF（3Dグリッドワイズアテンション統合）を提案する。これは、原始点群と仮想点群からの3次元RoI特徴をグリッド単位でアテンションベースで統合する細粒度なRoI特徴統合機構である。
• SynAugmentを導入する。これは3次元空間で動作することで、LiDARオンリーディテクション向けに開発された拡張技術（例：gt-sampling、ローカル回転）を仮想点群に適用可能にする、同期化されたデータ拡張戦略である。
• CPConv（カラー点群畳み込み）を設計する。これは各3次元RoI内の仮想点群を元の画像空間に再投影し、特徴抽出を実施する近隣探索手法であり、視野制限および隠蔽の問題を回避する。
• オクルージョン点が特徴学習に影響しないようにRoIに特化した近隣探索を実施することで、特徴の整合性を保つ。
• 仮想点群を入力として、深度補完、検出ヘッド、特徴抽出モジュールを統合的に最適化するエンドツーエンドのSFDフレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 深度補完によって生成された密度の高い仮想点群は、疎で隠蔽された領域における3次元検出性能を顕著に向上させることができるか？
• RQ2 2次元クロップ特徴ではなく3次元RoI特徴を対象とする3D-GAF統合戦略は、従来の連結ベースの統合と比較して、より正確で頑健な検出を実現できるか？
• RQ3 LiDARオンリーディテクション向けに開発された拡張技術が、3次元空間における仮想点群上で動作させることで、マルチモーダル3次元検出に効果的に転送可能か？
• RQ4 CPConvのような専用の特徴抽出器は、隠蔽アーチファクトを引き起こさずに、仮想点群から2次元画像特徴と3次元幾何的特徴を効率的に統合できるか？
• RQ5 提案されたSFDフレームワークは、KITTIのような標準的な3次元検出ベンチマークで最先端の性能を達成できるか？

主な発見

• SFDは、2021年11月16日現在、公式リーダーボードで1位を記録し、KITTIカー検出ベンチマークのマイルドレベルで95.52%の3D APを達成した。
• マイルドレベルにおいて、SFDは3クラスすべてを学習した場合、Voxel-RCNNに比べてカーで+6.13%、歩行者で+2.39%、自転車乗りで+3.35%の3D AP向上を達成した。
• 強い隠蔽（隠蔽レベル2）下のカーに対して、SFDは85.57%の3D APを達成し、ベースラインから+6.84%の向上を示し、隠蔽に対する強い頑健性を示した。
• 長距離（>40m）において、SFDは21.91%の3D APを達成し、ベースラインから+6.88%の向上を示し、疎な点群処理の有効性を裏付けた。
• NVIDIA RTX 2080 Ti上で10.2 FPSの高速な推論速度を維持しており、PointPainting（2.5 FPS） や F-PointNet（5.9 FPS）といった他のマルチモーダル手法を上回った。
• 定性的な分析から、SFDは背景の誤認識（例：フェンスを車と誤認）に起因する誤検出を低減し、隠蔽および長距離状況での位置特定精度を向上させたことが確認された。