[論文レビュー] Multi-View Adaptive Fusion Network for 3D Object Detection

Guojun Wang, Bin Tian+4 more|arXiv (Cornell University)|Nov 2, 2020

Advanced Neural Network Applications参考文献 35被引用数 24

ひとこと要約

本稿では、LiDARのビューアス・エイド、レンジ・ビュー、およびカメラ画像を注意メカニズムを用いたポイントワイドな融合（APF）モジュールとポイントワイドな重み付け（APW）モジュールによって統合する、1段階型の3次元物体検出フレームワークであるMVAF-Netを提案する。APFモジュールは、注意メカニズムを用いて、複数のビュー特徴を動的に適応的に統合する。一方、APWモジュールは、前景分類と中心座標回帰を介して特徴学習を強化し、KITTIベンチマークで優れた精度-速度トレードオフを達成した最先端の性能を実現した。

ABSTRACT

3D object detection based on LiDAR-camera fusion is becoming an emerging research theme for autonomous driving. However, it has been surprisingly difficult to effectively fuse both modalities without information loss and interference. To solve this issue, we propose a single-stage multi-view fusion framework that takes LiDAR bird's-eye view, LiDAR range view and camera view images as inputs for 3D object detection. To effectively fuse multi-view features, we propose an attentive pointwise fusion (APF) module to estimate the importance of the three sources with attention mechanisms that can achieve adaptive fusion of multi-view features in a pointwise manner. Furthermore, an attentive pointwise weighting (APW) module is designed to help the network learn structure information and point feature importance with two extra tasks, namely, foreground classification and center regression, and the predicted foreground probability is used to reweight the point features. We design an end-to-end learnable network named MVAF-Net to integrate these two components. Our evaluations conducted on the KITTI 3D object detection datasets demonstrate that the proposed APF and APW modules offer significant performance gains. Moreover, the proposed MVAF-Net achieves the best performance among all single-stage fusion methods and outperforms most two-stage fusion methods, achieving the best trade-off between speed and accuracy on the KITTI benchmark.

研究の動機と目的

• LiDARとカメラデータ間の効果的なマルチモodal統合を解決すること、特に情報損失や干渉を回避すること。
• 鳥眼視点（BEV）、レンジ・ビュー（RV）、およびカメラ視点（CV）表現の相補的利点を活用する1段階型でエンドツーエンド学習可能なネットワークを設計すること。
• ポイントレベルでのアテンションメカニズムを用いて、各ビューの重要度を動的に推定することで、特徴統合を向上させること。
• 前景確率と補助タスクによる構造的情報を学習することで、ポイント特徴を再重み付けし、特徴品質を向上させること。
• KITTIベンチマークにおいて、従来の1段階および2段階の統合手法と比較して、精度と推論速度の両面で優れた性能を達成すること。

提案手法

• フレームワークは、BEV、RV、CV入力からの特徴を抽出するために3スティリームのCNNバックボーンを用い、LiDAR点群はBEVおよびRV表現にボクセル化される。
• アテンション・ポイントワイド統合（APF）モジュールは、3つのビュー間で各ポイントのアテンション重みを計算し、特徴の関連性に基づいた動的で適応的な統合を可能にする。
• アテンション・ポイントワイド重み付け（APW）モジュールは、前景分類と中心座標回帰の2つの補助タスクを導入し、予測された前景確率を用いてポイント特徴を再重み付けすることで、構造的情報を学習する。
• 統合および再重み付けされた特徴は再びボクセル化され、エンドツーエンドの方法で検出ヘッドに供給され、3次元物体予測が行われる。
• ネットワークはエンドツーエンドで訓練され、検出損失に加えてAPWコンponentsからの補助損失を組み合わせたマルチタスクの監視が行われる。
• 特徴の可視化とアブレーションスタディにより、ノイズの抑制と関連特徴の強化を実現するアテンションベースの統合と再重み付けの有効性が検証された。

実験結果

リサーチクエスチョン

• RQ1 LiDARのBEV、RV、およびカメラ画像からのマルチビュー特徴を、情報損失や干渉を最小限に抑えるために、どのように適応的に統合できるか？
• RQ2 ポイントレベルでの異なるビューの寄与度を動的に重み付けるためにアテンションメカニズムを用いることで、どのような影響が生じるか？
• RQ3 前景分類や中心座標回帰などの補助タスクは、3次元物体検出における特徴表現と検出精度を向上させることができるか？
• RQ4 提案された統合戦略は、既存の1段階および2段階のLiDAR-カメラ統合手法と比較して、性能と効率の両面で優れているか？
• RQ5 前景確率に基づく特徴再重み付けは、長距離および小さな物体の検出性能をどの程度向上させるか？

主な発見

• 提案されたAPFモジュールは、KITTI検証セットにおける「Car」検出で3次元mAP 89.35%を達成し、APFを備えないベースラインと比較して1.62%の向上を示した。
• APWモジュールは性能に顕著な貢献を示し、すべてのコンponentsを組み合わせた場合、ベースラインと比較して「Hard」セットでmAPが1.44%向上した。
• アブレーションスタディの結果、BEV表現は近距離で最も効果的である一方、CVおよびRV特徴は長距離で選択的に使用され、ノイズが低減された。
• 可視化により、APFモジュールが近距離でノイズの多い特徴（例：植生由来）を抑制し、BEVおよびRVで遠方の物体特徴を強化することが確認された。
• APWモジュールは、背景のポイント特徴を効果的に抑制しながらも、前景特徴を保持・強化していることが、特徴可視化で示された。
• MVAF-Netは、すべての1段階型統合手法の中で最高の性能を達成し、KITTIで大多数の2段階型手法を上回った。精度-速度トレードオフの面で、新たな最先端を樹立した。