[論文レビュー] Multi-View 3D Object Detection Network for Autonomous Driving

Xiaozhi Chen, Huimin Ma+3 more|arXiv (Cornell University)|Nov 23, 2016

Advanced Neural Network Applications参考文献 30被引用数 66

ひとこと要約

本稿では、LIDAR点群とRGB画像を融合して方向付き3次元バウンディングボックスを予測する、マルチビュー3次元オブジェクト検出ネットワークMV3Dを提案する。3次元オブジェクト候補生成のため、点群のバードズアイビューとフロントビューの投影を用い、その後に視覚間の領域特徴を統合する深層融合ネットワークを適用することで、最先端手法と比較してKITTIベンチマーク上、3次元局所化APが25%向上、3次元検出APが30%向上した。

ABSTRACT

This paper aims at high-accuracy 3D object detection in autonomous driving scenario. We propose Multi-View 3D networks (MV3D), a sensory-fusion framework that takes both LIDAR point cloud and RGB images as input and predicts oriented 3D bounding boxes. We encode the sparse 3D point cloud with a compact multi-view representation. The network is composed of two subnetworks: one for 3D object proposal generation and another for multi-view feature fusion. The proposal network generates 3D candidate boxes efficiently from the bird's eye view representation of 3D point cloud. We design a deep fusion scheme to combine region-wise features from multiple views and enable interactions between intermediate layers of different paths. Experiments on the challenging KITTI benchmark show that our approach outperforms the state-of-the-art by around 25% and 30% AP on the tasks of 3D localization and 3D detection. In addition, for 2D detection, our approach obtains 10.3% higher AP than the state-of-the-art on the hard data among the LIDAR-based methods.

研究の動機と目的

• 自律走行における3次元オブジェクト検出の精度を向上させるために、LIDAR点群とRGB画像を融合する手法を提案する。
• LIDARの正確な深度情報と画像の豊富な意味的特徴という単一モodal手法の限界を補うために、強固なマルチモーダル融合フレームワークを設計する。
• 疎な点群のバードズアイビュー表現を用いて、正確な3次元オブジェクト候補を生成する。
• 領域ベースの統合ネットワークを用いて、複数のビュー間で深く相互作用する特徴を実現する。
• 特に厳しいIoU閾値下でも優れた性能を発揮する、3次元局所化、3次元検出、2次元検出ベンチマークでの性能向上を達成する。

提案手法

• ネットワークは、LIDAR点群のバードズアイビュー（BEV）表現を用いて、3次元オブジェクト候補を効率的に生成する。
• 3次元候補を複数のビュー（BEV、フロントビュー、RGB画像）に投影し、領域ごとの特徴抽出を実施する。
• ROIPoolingを用いて、異なるビューからの特徴を統合する深層融合ネットワークを構築し、別々のパスウェイの中間層間での相互作用を可能にする。
• ドロップパス訓練と補助損失を用いた統合戦略により、特徴学習と一般化性能を向上させる。
• 統合された特徴上でのオriented 3次元ボックス回帰により、正確な3次元位置、サイズ、向きを予測する。
• 標準的な3次元検出および2次元検出の指標を用いて、KITTIベンチマーク上でモデルを訓練および評価する。

実験結果

リサーチクエスチョン

• RQ1 LIDARとRGB特徴を統合する深層統合フレームワークは、単一モーダル手法や早期/後期統合手法を上回る3次元オブジェクト検出精度を達成できるか？
• RQ2 疎な点群からの3次元オブジェクト候補生成に、バードズアイビューとフロントビューの投影を用いたマルチビュー符号化方式はどの程度効果的か？
• RQ3 領域ベースの視覚間特徴相互作用は、3次元局所化および検出性能をどの程度向上させるか？
• RQ4 3次元ボックスで訓練された3次元検出ネットワークは、依然としてKITTIベンチマークで競争力ある2次元検出性能を達成できるか？
• RQ5 LIDARと画像モーダルを統合することで、厳密なIoU閾値下での3次元検出および局所化精度にどのような影響を与えるか？

主な発見

• 300個の候補のみで、IoU=0.25のとき3次元リコールが99.1%、IoU=0.5のとき91%に達し、3DOPやMono3Dを大きく上回った。
• LIDARベースのバージョンは、KITTIベンチマークで3次元局所化APが25%向上、3次元検出APが30%向上した。
• ハードテストセットでは、すべてのLIDARベース2次元検出手法を10.3%のAP向上で上回り、3次元予測から強力な2次元検出能力を示した。
• BEV、FV、RGBの3つのビューからの特徴を統合することで最良の性能が得られ、マルチビュー表現の補完的性質を裏付けた。
• 補助損失を用いた深層融合ネットワークは、早期/後期統合ベースラインを約1%向上させ、補助損失なしでも約0.5%の向上を示した。
• 可視化結果から、MV3DはVeloFCNや3DOPと比較して、位置、サイズ、向きの点でより正確な3次元バウンディングボックスを生成することがわかった。