[論文レビュー] Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving

Yan Wang, Wei‐Lun Chao+4 more|arXiv (Cornell University)|Dec 18, 2018

Advanced Neural Network Applications参考文献 36被引用数 68

ひとこと要約

本論文は、画像ベースの深度を擬似LiDARの3D点群に変換し、LiDARベースの検出器を適用すると、ステレオ/モノキュラー3D物体検出が劇的に改善され、実物LiDARとのギャップが縮まることを示しています。表現が深度の正確さよりも主なボトルネックであると主張します。

ABSTRACT

3D object detection is an essential task in autonomous driving. Recent techniques excel with highly accurate detection rates, provided the 3D input data is obtained from precise but expensive LiDAR technology. Approaches based on cheaper monocular or stereo imagery data have, until now, resulted in drastically lower accuracies --- a gap that is commonly attributed to poor image-based depth estimation. However, in this paper we argue that it is not the quality of the data but its representation that accounts for the majority of the difference. Taking the inner workings of convolutional neural networks into consideration, we propose to convert image-based depth maps to pseudo-LiDAR representations --- essentially mimicking the LiDAR signal. With this representation we can apply different existing LiDAR-based detection algorithms. On the popular KITTI benchmark, our approach achieves impressive improvements over the existing state-of-the-art in image-based performance --- raising the detection accuracy of objects within the 30m range from the previous state-of-the-art of 22% to an unprecedented 74%. At the time of submission our algorithm holds the highest entry on the KITTI 3D object detection leaderboard for stereo-image-based approaches. Our code is publicly available at https://github.com/mileyan/pseudo_lidar.

研究の動機と目的

• 画像深度マップを3D点のLiDAR様表現（擬似LiDAR）へ置換して3D物体検出を行うことを動機づける。
• KITTI上で擬似LiDAR表現がステレオ/モノキュラー3D検出精度を改善するかを調査する。
• 擬似LiDARを既存のLiDARベース検出器のアーキテクチャ間での互換性を示す。
• データ表現がステレオ→LiDARの性能ギャップにどの程度影響するかを定量化する。

提案手法

• ステレオまたはモノキュラー入力から密な深度マップを逆投影して3D点を形成し、擬似LiDAR点群を作成する。
• 既存のLiDARベースの3D検出器（例：Frustum PointNet、AVOD）を擬似LiDARデータに適用する。
• 同じ検出パイプライン内で擬似LiDARと正面深度表現を対比させ、表現戦略を比較する。
• IoU=0.5および0.7で、KITTIの3D/BEV APを車丄人/自転車カテゴリで評価する。

実験結果

リサーチクエスチョン

• RQ1 擬似LiDAR表現はKITTI上のステレオ/モノキュラー深度推定の3D物体検出精度を改善するか。
• RQ2 擬似LiDARはLiDARベース検出器と使用した場合、正面視深度表現と比較してどうか。
• RQ3 深度推定手法（ステレオ vs モノキュラー）が擬似LiDARベース検出性能に与える影響はどの程度か。
• RQ4 画像ベースの深度検出アプローチはLiDARベースの3D検出性能にどの程度近づくか、残るギャップは何か。
• RQ5 改善は物体カテゴリ（車、歩行者、自転車）と難易度レベル全体で一貫しているか。

主な発見

• 擬似LiDARはステレオベースの3D検出を著しく向上させ、画像ベース手法に対してKITTIで大幅な利益を達成する。
• IoU 0.7（中程度）で、ステレオ＋擬似LiDARは45.3% AP_BEV/3Dに到達し、従来の画像ベース最先端を大幅に上回る。
• 2つのLiDARベース検出器（Frustum PointNetとAVOD）はどちらも擬似LiDARの恩恵を受け、既存の3D検出アーキテクチャへの広い適合性を示す。
• 性能向上は深度推定品質よりデータ表現に起因する割合が大きく、正面深度表現は擬似LiDARと比較して低性能である。
• ステレオベースの擬似LiDAR手法はLiDARとのギャップを縮め、コスト効果の高い自動運転センサリングを示唆する。
• 歩行者/自転車の結果ではまだギャップは存在するが、これらカテゴリにおける画像ベースの3D検出の出発点を確立している。