[論文レビュー] 3D Fully Convolutional Network for Vehicle Detection in Point Cloud

Bo Li|arXiv (Cornell University)|Nov 24, 2016

Remote Sensing and LiDAR Applications参考文献 15被引用数 23

ひとこと要約

本論文は、LiDAR点群におけるエンドツーエンド3次元車両検出のための3次元完全畳み込みネットワーク（FCN）を提案する。2次元FCNの原則を、ダウンサンプリングおよびデコンボリューションによるアップサンプリングを用いて3次元ボクセル化空間に拡張している。KITTIデータセットにおいて最先端の性能を達成し、オンライン評価では先行する点群ベース手法を20%以上上回り、画像面および地面面の両方の検出指標で新たなSOTAを樹立した。

ABSTRACT

2D fully convolutional network has been recently successfully applied to object detection from images. In this paper, we extend the fully convolutional network based detection techniques to 3D and apply it to point cloud data. The proposed approach is verified on the task of vehicle detection from lidar point cloud for autonomous driving. Experiments on the KITTI dataset shows a significant performance improvement over the previous point cloud based detection approaches.

研究の動機と目的

• LiDAR点群に対して完全畳み込みネットワークを用いたエンドツーエンド3次元オブジェクト検出フレームワークの開発を目的とする。
• 2次元ベースの検出の限界を克服し、より正確な3次元局所化を実現するため、3次元空間データを直接処理することを目的とする。
• 3次元空間特徴を活用し、スケール変動や隠蔽の影響を低減することで、KITTIベンチマークにおける検出性能を向上させることを目的とする。
• 画像面および地面面の評価指標の両方で手法を検証し、実世界の自動運転ニーズを反映することを目的とする。

提案手法

• 本手法は、3つのダウンサンプリング畳み込み層（ストライド 1/2^3）を経て、その後にデコンボリューション層による特徴アップサンプリングを行う3次元FCNアーキテクチャを採用する。
• ネットワークは各空間位置に対して2つの出力を予測する：オブジェクトネスの信頼度と、別々の出力マップによる3次元バウンディングボックスオフセット。
• オブジェクトネスはソフトマックス活性化されたスコアで予測され、バウンディングボックス座標はアンカー領域からのオフセットベクトルとして予測される。
• 総損失は、オブジェクトネス損失とバウンディングボックス回帰損失をバランス重みwで組み合わせており、それぞれクロスエントロピー損失とL2損失が用いられる。
• 推論では、高信頼度領域を選別し、それらの予測されたバウンディングボックスをクラスタリングして最終的な検出結果を生成する。
• 本手法は、画像面および地面面のIoU評価指標を用いて評価され、比較のため3次元ボックスが投影される。

実験結果

リサーチクエスチョン

• RQ1 2次元画像から3次元点群データへの完全畳み込みネットワークの成功した拡張は可能か？
• RQ2 KITTIベンチマークにおいて、精度と頑健性の観点から、3次元FCN検出は先行する点群ベース手法を上回るか？
• RQ3 3次元空間（地面面）での検出と2次元画像空間での検出とを比較した場合、性能にどのような差が生じるか？また、どちらが実世界の自動運転ニーズをよりよく反映しているか？
• RQ4 3次元から2次元への投影による解像度の低さやアライメントのずれを考慮しても、提案された3次元FCNは画像ベースの検出手法と同等の性能を達成できるか？

主な発見

• 提案された3次元FCNは、KITTIの「イージー」画像面ベンチマークで93.7%の平均適合率（AP）を達成し、先行するSOTAであるVeloFCN手法（74.1% AP）を顕著に上回った。
• 地面面評価では、「イージー」スプリットで88.9%のAPを達成し、自動運転において極めて重要な水平方向の局所化性能が優れていることを示した。
• KITTIのオンライン評価では、「イージー」スプリットで84.2%のAPを達成し、VeloFCN（60.3% AP）を20ポイント以上上回った。
• 平均方向類似度（AOS）においても強力な性能を示し、「イージー」地面面スプリットで88.9%を達成し、正確な方向推定が可能であることを示した。
• 結果から、2次元投影に比べてスケール変動や隠蔽の問題が軽減され、3次元空間におけるより頑健な検出が実現されていることが明らかになった。
• 本フレームワークは、Velodyne LiDARにとどまらず、Kinect、ステレオ、SfMなど他の点群ソースに対しても良好に一般化可能であり、広範な応用可能性を示した。