[論文レビュー] VPFNet: Improving 3D Object Detection with Virtual Point based LiDAR and Stereo Data Fusion

Hanqi Zhu, Jiajun Deng+5 more|arXiv (Cornell University)|Nov 29, 2021

Advanced Neural Network Applications被引用数 6

ひとこと要約

VPFNetは、スパースなLiDAR点群と高密度なステレオ画像の間の解像度ギャップを埋めるために中間の仮想点を導入する、新しい仮想点ベースの統合フレームワークを提案する。これにより、効率的で正確なマルチモodal特徴抽出が可能となり、KITTIベンチマークにおいて83.21%のmoderate 3D APおよび91.86%のmderate BEV APという最先端の性能を達成するとともに、単一のRTX 2080Tiで15.7 FPSのリアルタイム推論を維持する。

ABSTRACT

It has been well recognized that fusing the complementary information from depth-aware LiDAR point clouds and semantic-rich stereo images would benefit 3D object detection. Nevertheless, it is not trivial to explore the inherently unnatural interaction between sparse 3D points and dense 2D pixels. To ease this difficulty, the recent proposals generally project the 3D points onto the 2D image plane to sample the image data and then aggregate the data at the points. However, this approach often suffers from the mismatch between the resolution of point clouds and RGB images, leading to sub-optimal performance. Specifically, taking the sparse points as the multi-modal data aggregation locations causes severe information loss for high-resolution images, which in turn undermines the effectiveness of multi-sensor fusion. In this paper, we present VPFNet -- a new architecture that cleverly aligns and aggregates the point cloud and image data at the `virtual' points. Particularly, with their density lying between that of the 3D points and 2D pixels, the virtual points can nicely bridge the resolution gap between the two sensors, and thus preserve more information for processing. Moreover, we also investigate the data augmentation techniques that can be applied to both point clouds and RGB images, as the data augmentation has made non-negligible contribution towards 3D object detectors to date. We have conducted extensive experiments on KITTI dataset, and have observed good performance compared to the state-of-the-art methods. Remarkably, our VPFNet achieves 83.21\\% moderate 3D AP and 91.86\\% moderate BEV AP on the KITTI test set, ranking the 1st since May 21th, 2021. The network design also takes computation efficiency into consideration -- we can achieve a FPS of 15 on a single NVIDIA RTX 2080Ti GPU. The code will be made available for reproduction and further investigation.

研究の動機と目的

• 既存の統合手法が情報損失を引き起こす、スパースな3D LiDAR点群と高密度な2Dステレオ画像の間の解像度不一致を解消すること。
• 点群の密度とピクセルの密度の中間的な密度を持つ仮想点を導入することで、バランスの取れた特徴抽出を可能にし、マルチモーダル3Dオブジェクト検出を向上させること。
• 遠方、隠蔽、近距離のオブジェクトなど、困難な状況における検出精度を、向上した特徴表現により向上させること。
• 仮想点の密度とスパースな3D畳み込みの使用を最適化することで計算効率を確保し、リアルタイム推論を維持すること。
• モデルの汎化性能と性能を向上させるために、マルチモーダルデータ拡張技術を統合すること。

提案手法

• 仮想点は、LiDAR点群と画像ピクセルの間の密度を持つ中間表現として生成され、センサー間の解像度ギャップを効果的に埋める。
• 画像特徴は微分可能サンプリングにより仮想点でサンプリングされ、LiDAR特徴はK近傍法を用いて近隣の3D点から集約される。
• 分離された重みを持つ二本のブランチ検出ヘッドにより、片モーダルの優位性を防ぎ、マルチモーダル特徴のバランスの取れた統合が可能になる。
• 仮想点グリッドに対してスパース3D畳み込みを適用することで、集約された特徴を効率的に処理し、計算コストを低減する。
• LiDARおよびステレオ入力の両方にデータ拡張戦略を適用することで、耐性と汎化性能を向上させる。
• 最終的な検出ヘッドは、局所化、方向、サイズ推定が向上した3Dバウンディングボックスを予測する。

実験結果

リサーチクエスチョン

• RQ1 スパースな3D LiDAR点群と高密度な2Dステレオ画像を、解像度の不一致を回避して効果的に統合する方法は何か？
• RQ2 3D点と2Dピクセルの中間的な密度を持つ仮想点は、特徴抽出の質を向上させ、より多くの情報を保持できるか？
• RQ3 提案された統合メカニズムは、隠蔽や長距離検出のような多様な状況において、3Dオブジェクト検出精度を顕著に向上させるか？
• RQ4 最先端の性能を達成しつつ、リアルタイム推論速度を維持できるか？
• RQ5 マルチモーダルデータ拡張は、検出器の耐性と汎化性能をどの程度向上させるか？

主な発見

• VPFNetはKITTIテストセットで83.21%のmderate 3D APおよび91.86%のmderate BEV APを達成し、2021年5月21日以降、首位を維持している。
• 遠方および隠蔽されたオブジェクトの回転推定精度が向上し、近距離オブジェクトのボックスサイズ推定が洗練されている。
• 16×8×22のグリッドブロックと6×6×6のクエリポイントを用いることで、VPFNetは63.6msの推論時間（15.7 FPS）を達成した。
• 仮想点の密度を増加させると精度が向上するが、遅延も増加するため、グリッド設定による調整で性能と速度のトレードオフを制御可能である。
• アブレーションスタディの結果、仮想点ベースの統合は、直接的な点から画像への投影や3Dから2Dへのリフト手法を上回り、特に画像特徴情報の保持に優れている。
• マルチモーダルデータ拡張の統合により、性能がさらなる向上を示し、検出器の精度向上に顕著な貢献があることが実証された。