[論文レビュー] End-to-End Multi-View Fusion for 3D Object Detection in LiDAR Point Clouds

Yin Zhou, Pei Sun+7 more|arXiv (Cornell University)|Oct 15, 2019

Advanced Neural Network Applications参考文献 30被引用数 98

ひとこと要約

本論文は、BEVとパースペクティブビューを共同利用するエンドツーエンドのマルチビュー融合（MVF）フレームワークと動的ボクセル化を導入し、LiDARベースの3D物体検出の精度をWaymoおよびKITTIデータセットのシングルビューベースのベースラインより向上させる。

ABSTRACT

Recent work on 3D object detection advocates point cloud voxelization in birds-eye view, where objects preserve their physical dimensions and are naturally separable. When represented in this view, however, point clouds are sparse and have highly variable point density, which may cause detectors difficulties in detecting distant or small objects (pedestrians, traffic signs, etc.). On the other hand, perspective view provides dense observations, which could allow more favorable feature encoding for such cases. In this paper, we aim to synergize the birds-eye view and the perspective view and propose a novel end-to-end multi-view fusion (MVF) algorithm, which can effectively learn to utilize the complementary information from both. Specifically, we introduce dynamic voxelization, which has four merits compared to existing voxelization methods, i) removing the need of pre-allocating a tensor with fixed size; ii) overcoming the information loss due to stochastic point/voxel dropout; iii) yielding deterministic voxel embeddings and more stable detection outcomes; iv) establishing the bi-directional relationship between points and voxels, which potentially lays a natural foundation for cross-view feature fusion. By employing dynamic voxelization, the proposed feature fusion architecture enables each point to learn to fuse context information from different views. MVF operates on points and can be naturally extended to other approaches using LiDAR point clouds. We evaluate our MVF model extensively on the newly released Waymo Open Dataset and on the KITTI dataset and demonstrate that it significantly improves detection accuracy over the comparable single-view PointPillars baseline.

研究の動機と目的

• 同一 LiDAR 点群の BEV とパースペクティブビューを組み合わせる多視点表現学習を動機づける。
• ボクセルベース手法で固定サイズのバッファを回避し情報損失を低減するための動的ボクセル化を開発する。
• ビュー固有の文脈を集約し、各点ごとに融合して堅牢な3D検出を行う点レベルの融合ネットワークを設計する。
• 大規模な Waymo Open Dataset および KITTI で MVF を評価し、シングルビューのベースラインに対する精度向上を示す。）

提案手法

• 固定サイズのサンプリングなしですべての点とボクセルを保持する動的ボクセル化（DV）を提案し、決定論的なボクセル埋め込みを生み出す。
• 各点に対して異なる局所近傍を露出させるために、デュアルビュー（BEV Cartesian と perspective spherical）ボクセル化を実施する。
• 生の座標と強度から点ごとの埋め込みを計算し、点特徴を対応する BEV ボクセル特徴および perspective ボクセル特徴と融合する。
• ビュー特有の FC 層を用いて64Dのビュー依存特徴を学習し、ボクセル上で最大プーリングを行い、文脈をエンコードする畳み込みタワーを適用する。
• 各点の特徴、自己特徴、BEV ボクセル特徴、および球面ボクセル特徴を結合して点ごとに特徴を融合し、空間解像度を一定に保つ。
• SECOND/PointPillars 由来の損失関数（SmoothL1による回帰と focal 分類）で訓練し、Adam と cosine 学習率減衰で最適化する。）

実験結果

リサーチクエスチョン

• RQ1 同じ LiDAR 点群の BEV とパースペクティブビューを組み合わせることで、特に遠距離や小さな物体の検出精度を向上させることができるのか？
• RQ2 動的ボクセル化は情報損失を減らし、ハードボクセル化と比較して検出をより安定させるのか？
• RQ3 ビュー間の点レベル融合が、近距離 vs 遠距離の異なる物体範囲および物体サイズで検出性能にどのように影響するのか？
• RQ4 MVFアプローチは既存の LiDAR 検出器（例: PointPillars/SECOND）にドロップイン拡張として適合するのか？

主な発見

• MVF は Waymo Open Dataset で車両と歩行者の検出精度をシングルビューのベースラインより向上させる。
• 動的ボクセル化（DV）は情報損失を減らしボクセル埋め込みを安定化させることで、ハードボクセル化（HV）を上回る。
• マルチビュー融合（MVF）は補完的な BEV と perspective 情報を活用して性能をさらに向上させ、特に長距離で小さな物体や遮蔽された物体に対して効果的である。
• KITTI では MVF は最先端手法と比較して競争力のある3D車両検出性能を示し、HV+SV および DV+SV ベースラインを上回る。
• MVF は DV+SV および HV+SV ベースラインよりレイテンシが高く、マルチビュー融合の追加計算を反映している。