[論文レビュー] Vehicle Detection from 3D Lidar Using Fully Convolutional Network

Bo Li, Tianlei Zhang+1 more|arXiv (Cornell University)|Aug 29, 2016

Advanced Optical Sensing Technologies参考文献 21被引用数 275

ひとこと要約

本論文は、Velodyne 64Eのレンジ scanを2Dマップに投影して処理するエンドツーエンドの2D FCNを提示し、車両のオブジェクト性と3D境界ボックスを予測する。KITTIのレンジスキャンベース検知で最先端の成果を達成。

ABSTRACT

Convolutional network techniques have recently achieved great success in vision based detection tasks. This paper introduces the recent development of our research on transplanting the fully convolutional network technique to the detection tasks on 3D range scan data. Specifically, the scenario is set as the vehicle detection task from the range data of Velodyne 64E lidar. We proposes to present the data in a 2D point map and use a single 2D end-to-end fully convolutional network to predict the objectness confidence and the bounding boxes simultaneously. By carefully design the bounding box encoding, it is able to predict full 3D bounding boxes even using a 2D convolutional network. Experiments on the KITTI dataset shows the state-of-the-art performance of the proposed method.

研究の動機と目的

• 3D LiDARレンジスキャンを車両検出のために適用する完全畳み込みネットワークを適用する動機付け。
• 3D LiDARポイントを2Dポイントマップへ投影してエンドツーエンドの2D FCN処理を可能にする。
• 統一されたフレームワーク内でオブジェクト性と完全な3D境界ボックスを同時に予測する。
• 視点変化に対処する回転不変の境界ボックスエンコードを設計する。
• エンドツーエンド学習を用いてKITTIで競争力のあるまたは最先端の性能を達成する。

提案手法

• Velodyne 64E LiDARポイントをチャンネル付きの2Dポイントマップ（d, z）へ変換。
• 共有トランクと2つのヘッドを持つ2D完全畳み込みネットワークを使用：オブジェクト性分類と24D境界ボックス回帰。
• 回転Rを用いて頂点座標を変換し、オブジェクトごとに8つのコーナーを報告することで3D境界ボックスをエンコード。
• 小さな物体とエッジ予測を改善するために複数層の特徴マップを連結。
• ジオメトリを保持する3D変換とオブジェクト性とボックス回帰のマルチタスク損失のバランシングによるデータ拡張。
• foreground/backgroundや異なる物体サイズ/距離のバランスをとる重み付き損失で訓練。

実験結果

リサーチクエスチョン

• RQ1 3D LiDARレンジスキャンの2D投影上で完全畳み込みネットワークが直接車両を検出できるか。
• RQ2 2D畳み込みバックボーンが完全な3Dボックスを予測できるように、3D境界ボックスをどのようにエンコードすべきか。
• RQ3 オブジェクト性と3Dボックス回帰を共同で行うことは、従来の提案ベース手法と比べてLiDARデータの検出を改善するか。
• RQ4 LiDARベースの車両検出で最先端の性能を示すデータセットと評価プロトコル（KITTI）は何か。
• RQ5 データ拡張と損失バランシングは、希薄なLiDAR点群での訓練にどのように影響するか。

主な発見

難易度	画像空間のAP	画像空間のAOS	世界空間のAP	世界空間のAOS
Easy	74.1%	73.9%	77.3%	77.2%
Moderate	71.0%	70.9%	72.4%	72.3%
Hard	70.0%	69.9%	69.4%	69.4%

• 提案されたFCNはKITTIのレンジスキャンデータで高い検出性能を達成し、Easy設定で世界空間AP/AOSの最先端を記録。
• Offline world-space AP: Easy 77.3%, Moderate 72.4%, Hard 69.4%; Offline world-space AOS: Easy 77.2%, Moderate 72.3%, Hard 69.4%。
• Image-space AP/AOSはworld-spaceよりわずかに低く、2D投影の重なりと3D位置合わせの違いを反映。
• 手法は車両が一部しか見えなくても完全な3D境界ボックスを予測でき、追跡や計画を支援。
• 従来のレンジスキャン手法と比較してEasyでAPが向上、Moderate/Hardでも競争力のあるAPを示し、方向推定（AOS）も優れている。
• 多層特徴の連結により小物体・エッジ予測が改善される。