[論文レビュー] A General Pipeline for 3D Detection of Vehicles

Xinxin Du, Marcelo H. Ang+2 more|arXiv (Cornell University)|Feb 12, 2018

Advanced Neural Network Applications参考文献 33被引用数 23

ひとこと要約

本論文は、2次元車両検出ネットワークの出力を2次元検出と3次元LiDAR点群の融合によって、あらゆる2次元車両検出ネットワークが正確な3次元バウンディングボックスを生成できる一般化されたパイプラインを提案する。一般化された車両モデルとスコアマップを用いた効率的な3次元ボックス適合の後、2段階のCNNによる精練を経て、KITTIで最先端の性能を達成し、既存の2次元ネットワークへの最小限の変更で実現した。

ABSTRACT

Autonomous driving requires 3D perception of vehicles and other objects in the in environment. Much of the current methods support 2D vehicle detection. This paper proposes a flexible pipeline to adopt any 2D detection network and fuse it with a 3D point cloud to generate 3D information with minimum changes of the 2D detection networks. To identify the 3D box, an effective model fitting algorithm is developed based on generalised car models and score maps. A two-stage convolutional neural network (CNN) is proposed to refine the detected 3D box. This pipeline is tested on the KITTI dataset using two different 2D detection networks. The 3D detection results based on these two networks are similar, demonstrating the flexibility of the proposed pipeline. The results rank second among the 3D detection algorithms, indicating its competencies in 3D detection.

研究の動機と目的

• 高性能な2次元検出ネットワークと自動運転における3次元認識のニーズの間のギャップを埋めること。
• 既存の2次元検出ネットワークが最小限のアーキテクチャ的変更で正確な3次元バウンディングボックスを出力できるようにすること。
• 2次元検出出力と3次元LiDARD点群を統合する、強固で一般化可能なパイプラインを構築し、3次元車両の局所化と寸法推定を実現すること。
• 一般化された車両形状を用いたモデル適合と2段階のCNNによる精練プロセスにより、3次元検出精度を向上させること。

提案手法

• パイプラインは2次元検出ネットワークの出力（2次元バウンディングボックス）を3次元空間に投影し、対応する3次元点群サブセットを抽出する。
• モデル適合アルゴリズムは、一般化された車両モデルとスコアマップを用いて、投影された2次元ボックス内に存在する3次元車両点を特定し、3次元バウンディングボックスのパラメータを推定する。
• 2段階のCNNを用いて3次元ボックスを精錬する：第1段階はスパースな3次元点特徴を用いて3次元ボックスを回帰し、第2段階はオブジェクトネススコアを再割り当てする。
• 2次元ネットワークに車両寸法（長さ、幅、高さ）を予測する1つの回帰ヘッドを追加することで、最小限の変更で3次元出力を可能にする。
• 本手法は2次元CNNの識別力とLiDARの幾何的正確性を活用し、点群変換による情報損失を回避する。
• パイプラインはエンドツーエンドで学習され、KITTIデータセット上で2種類の異なる2次元ネットワーク（PC-CNNとMS-CNN）を用いてテストされた。

実験結果

リサーチクエスチョン

• RQ1 任意の2次元車両検出ネットワークを最小限の変更で3次元検出出力を生成できる一般化されたパイプラインを設計できるか？
• RQ2 一般化された車両モデルとスコアマップを用いたモデル適合は、スパースな点群から3次元車両バウンディングボックスを推定するのにどの程度有効か？
• RQ3 2段階のCNNは、ベースラインの3次元ボックス推定と比較して、3次元検出精度をどの程度向上させるか？
• RQ4 本パイプラインは、異なる2次元検出アーキテクチャや現実世界のデータ分布に対してどの程度一般化可能か？

主な発見

• パイプラインは、IoU閾値0.5でKITTI検証セットにおいて3次元検出平均適合度（AP）87.69％を達成し、3次元検出アルゴリズムの中で第2位の順位を獲得した。
• PC-CNNとMS-CNNをパイプラインに組み込んだ場合の3次元検出性能は同等であり、パイプラインの柔軟性と異なる2次元ネットワークアーキテクチャへの一般化能力を示した。
• アブレーションスタディの結果、第1段階のCNNはモデル適合ベースラインと比較して3次元APを約30％向上させたが、第2段階のCNNはわずかな向上を示し、スコア精錬の役割を確認した。
• 車両寸法回帰ヘッドの追加は2次元検出性能にほとんど悪影響を及げず、一部のカテゴリではわずかに向上または同等のAPを達成した。
• 微調整なしでボストン（アメリカ合衆国）の実世界データに対しても良好に一般化され、KITTIデータセットを超えた強力なロバストネスと汎用性を示した。