[論文レビュー] Pseudo-LiDAR++: Accurate Depth for 3D Object Detection in Autonomous Driving

Yurong You, Yan Wang+6 more|arXiv (Cornell University)|Jun 14, 2019

Advanced Neural Network Applications参考文献 48被引用数 220

ひとこと要約

この論文は深度最適化ステレオネットワーク（SDN）と稀少LiDARを用いたグラフベースの深度補正（GDC）によりステレオベースの深度を改善し、疑似LiDARの3D検出を強化し、KITTIでLiDARベースの手法との差を縮小します。

ABSTRACT

Detecting objects such as cars and pedestrians in 3D plays an indispensable role in autonomous driving. Existing approaches largely rely on expensive LiDAR sensors for accurate depth information. While recently pseudo-LiDAR has been introduced as a promising alternative, at a much lower cost based solely on stereo images, there is still a notable performance gap. In this paper we provide substantial advances to the pseudo-LiDAR framework through improvements in stereo depth estimation. Concretely, we adapt the stereo network architecture and loss function to be more aligned with accurate depth estimation of faraway objects --- currently the primary weakness of pseudo-LiDAR. Further, we explore the idea to leverage cheaper but extremely sparse LiDAR sensors, which alone provide insufficient information for 3D detection, to de-bias our depth estimation. We propose a depth-propagation algorithm, guided by the initial depth estimates, to diffuse these few exact measurements across the entire depth map. We show on the KITTI object detection benchmark that our combined approach yields substantial improvements in depth estimation and stereo-based 3D object detection --- outperforming the previous state-of-the-art detection accuracy for faraway objects by 40%. Our code is available at https://github.com/mileyan/Pseudo_Lidar_V2.

研究の動機と目的

• 特に遠くの物体に対して、ステレオベースの3D検出における深度推定バイアスを是正する。
• 視差ではなく直接深度を学習する深度指向のステレオネットワークを開発する。
• 密なステレオ深度とスパースLiDARをグラフベースの拡散で組み合わせ、深度を補正する。

提案手法

• 視差ベースの学習を深度コストボリューム上の直接深度損失に置換し、深度グリッド上での3D畳み込みを可能にする（SDN）。
• 標準的な視差コストボリュームを補間・変換して深度コストボリュームにし、長距離での深度誤差を低減する。
• 少数の厳密なLiDAR測定を用いて、KNNグラフ全体にわたる深度拡散を導く深度伝搬（GDC）アルゴリズムを提案し、密で正確な深度を得る。
• 重み付きKNNグラフを用いてLiDAR深度を伝搬し、ランドマーク深度を固定する制約を満たす2次最適化を解く。
• 合成データとKITTIで学習したステレオ深度ネットワーク（SDN）を用いて評価する。SDN出力に対してグラフベース補正を適用する。

実験結果

リサーチクエスチョン

• RQ1 ステレオネットワークにおける直接深度最適化は、視差ベースの学習と比較して遠方の物体に対する深度バイアスを低減できるか。
• RQ2 グラフベースの深度補正を介してスパースLiDAR測定を組み込むことは、密な深度マップと3D物体検出を意味ある程度改善するか。
• RQ3 深度損失、深度コストボリューム、およびGDCステップの全体検出精度への相対的寄与はどうなるか。
• RQ4 スパースLiDARを付加した場合、ステレオベースの疑似LiDARはLiDARベースの検出にどれくらい近づくことができるか。
• RQ5 KITTIでの車・歩行者・自転車検出に対して、利得は一貫しているか。

主な発見

• SDNは視差ベースの方法と比較して遠距離での深度推定誤差を著しく低減する。
• 深度損失と深度コストボリュームは測定可能な利得を提供する（例：検出器に応じて6%/2%および2–3%の改善）。
• GDCを4ビームLiDARで実施すると検出が大幅に向上し、一部の指標でLiDARレベルの性能に近づく。
• PL++はSDNとGDCを組み合わせた場合、KITTIの遠方物体で従来のステレオベース法より最大40%向上させる。
• L# + S入力で、PL++は特定の指標で64ビームLiDARの性能に近づき、コスト格差を縮小。
• 定性的には、SDN+GDCは遠方物体で特にグラウンドトゥルースと一致する深度マップと物体位置推定を生み出す。