[論文レビュー] End-to-End Multi-View Fusion for 3D Object Detection in LiDAR Point Clouds

Yin Zhou, Pei Sun+7 more|arXiv (Cornell University)|Oct 15, 2019

Advanced Neural Network Applications被引用数 174

ひとこと要約

LiDAR からの 3D 物体検出を向上させるために、BEV と perspective ビューを統合するダイナミックボクセル化を用いたエンドツーエンドのマルチビュー統合（MVF）フレームワークを提案し、Waymo および KITTI データセットで単一視点ベースラインよりも精度を向上させる。

ABSTRACT

Recent work on 3D object detection advocates point cloud voxelization in birds-eye view, where objects preserve their physical dimensions and are naturally separable. When represented in this view, however, point clouds are sparse and have highly variable point density, which may cause detectors difficulties in detecting distant or small objects (pedestrians, traffic signs, etc.). On the other hand, perspective view provides dense observations, which could allow more favorable feature encoding for such cases. In this paper, we aim to synergize the birds-eye view and the perspective view and propose a novel end-to-end multi-view fusion (MVF) algorithm, which can effectively learn to utilize the complementary information from both. Specifically, we introduce dynamic voxelization, which has four merits compared to existing voxelization methods, i) removing the need of pre-allocating a tensor with fixed size; ii) overcoming the information loss due to stochastic point/voxel dropout; iii) yielding deterministic voxel embeddings and more stable detection outcomes; iv) establishing the bi-directional relationship between points and voxels, which potentially lays a natural foundation for cross-view feature fusion. By employing dynamic voxelization, the proposed feature fusion architecture enables each point to learn to fuse context information from different views. MVF operates on points and can be naturally extended to other approaches using LiDAR point clouds. We evaluate our MVF model extensively on the newly released Waymo Open Dataset and on the KITTI dataset and demonstrate that it significantly improves detection accuracy over the comparable single-view PointPillars baseline.

研究の動機と目的

• 同じ LiDAR の BEV とパースペクティブビューの補完情報を活用して、3D 物体検出を改善することを動機づける。
• ポイントレベルで動作するエンドツーエンドの MVF アーキテクチャを開発し、クロスビュー特徴融合を効果的に行う。
• すべての点を保持し決定論的なボクセル埋め込みを可能にする動的ボクセル化を導入。
• Waymo Open Dataset および KITTI において、動的ボクセル化を用いた MVF が単一視点ベースラインを上回ることを示す。

提案手法

• 各 LiDAR 点を高次元特徴空間に埋め込む。 BEV（ cartesian ）と perspective（球面）ビューの両方で動的ボクセル化を適用し、双方向の点-ボクセルマッピングを確立する。
• ビュー依存特徴を各ビューの FC 層で計算し、最大プーリングでボクセル情報を統合する。
• 次のからの各点特徴を融合する：(i) BEV ボクセル特徴、(ii) perspective ボクセル特徴、(iii) 点自身の特徴、より高度な点埋め込みを生成する。
• 解像度を保ちながら文脈情報を捉えるため、畳み込みタワーでボクセル特徴マップを処理する。
• SECOND および PointPillars と同じ損失で訓練し、分類には focal loss、回帰には SmoothL1 を用いる。Adam と cosine 学習率減衰で最適化する。

実験結果

リサーチクエスチョン

• RQ1 同じ LiDAR 点群のデュアルビュー（BEV と perspective）表現は、3D 物体検出を改善する補完的な文脈情報を提供できるだろうか？
• RQ2 情報の保持と検出の安定性という点で、動的ボクセル化は従来のハードボクセル化より優れているか？
• RQ3 自動車および歩行者検出において、MVF は大規模および標準ベンチマーク（Waymo Open Dataset および KITTI）で単一視点ベースラインとどう比較されるか？
• RQ4 MVF アプローチは、使用したベースラインを超えた他の LiDAR ベースの検出器にも一般化可能か？

主な発見

• 動的ボクセル化を用いた MVF は、Waymo の車両および歩行者タスクにおいて、HV+SV および DV+SV のベースラインより一貫して検出精度を向上させる。
• 動的ボクセル化はすべての点とボクセルを保持し、決定論的なボクセル埋め込みと情報損失の低減を生む。
• BEV と perspective の組み合わせは補完的な文脈を提供し、より長距離や歩行者のような小さく遮蔽された物体に対してより大きな利得をもたらす。
• Waymo データセットでは、MVF が HV+SV および DV+SV よりも BEV および 3D AP を、距離レンジ（0-30m、30-50m、そして 50m 以上の距離レンジで）向上させる。
• KITTI では、MVF は 3D 車両検出性能で競争力を持ち、easy/moderate/hard 設定で HV+SV および DV+SV を上回る。
• MVF はベースライン手法と比較して有利な待機遅延特性を示し、実用的なリアルタイム推論を可能にする。