[論文レビュー] End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection

Rui Qian, Divyansh Garg+7 more|arXiv (Cornell University)|Apr 7, 2020

Advanced Neural Network Applications参考文献 48被引用数 9

ひとこと要約

本論文は、従来の疑似LiDARパイプラインで別々に訓練される場合の制限を克服する、エンドツーエンドで微分可能な擬似LiDARフレームワークを提案する。異なる可微分性を持つ表現変換モジュール（特にソフト量子化層）を導入することで、パイプライン全体に逆誤差伝搬を可能にし、PointRCNNを用いたKITTIの画像ベース3D検出ベンチマークで最先端の性能を達成した。

ABSTRACT

Reliable and accurate 3D object detection is a necessity for safe autonomous driving. Although LiDAR sensors can provide accurate 3D point cloud estimates of the environment, they are also prohibitively expensive for many settings. Recently, the introduction of pseudo-LiDAR (PL) has led to a drastic reduction in the accuracy gap between methods based on LiDAR sensors and those based on cheap stereo cameras. PL combines state-of-the-art deep neural networks for 3D depth estimation with those for 3D object detection by converting 2D depth map outputs to 3D point cloud inputs. However, so far these two networks have to be trained separately. In this paper, we introduce a new framework based on differentiable Change of Representation (CoR) modules that allow the entire PL pipeline to be trained end-to-end. The resulting framework is compatible with most state-of-the-art networks for both tasks and in combination with PointRCNN improves over PL consistently across all benchmarks -- yielding the highest entry on the KITTI image-based 3D object detection leaderboard at the time of submission. Our code will be made available at https://github.com/mileyan/pseudo-LiDAR_e2e.

研究の動機と目的

• エンドツーエンドの訓練を可能にすることで、LiDARベースと画像ベースの3Dオブジェクト検出の性能差を是正すること。
• 別々に訓練される場合に生じる深度推定と3D検出の目的関数の不整合を是正し、特にオブジェクト境界付近での不適切な深度予測を改善すること。
• 2D深度マップから3D点群への変換において、可微分性のある表現変換（CoR）モジュールを用いて、逆誤差伝搬を可能にすること。
• 既存の最先端の深度推定器とLiDARベースの検出器との互換性を維持しつつ、両者の統合的性能を向上させること。
• 最小限のアーキテクチャ変更で、エンドツーエンドの訓練を用いてKITTIの画像ベース3D検出リーダーボードで最先端の結果を達成すること。

提案手法

• 2D深度マップと3D点群の間のギャップを埋めるために、可微分性のある表現変換（CoR）モジュールを導入し、パイプライン全体に勾配が流れるようにすること。
• 標準的な量子化が非可微分性を持つことに対応するため、新しい可微分性を持つソフト量子化CoRモジュールを設計し、検出器から深度ネットワークへの勾配伝搬を可能にすること。
• 2種類のLiDARベースの検出器に対応する：量子化された3Dテンソルを必要とするもの（例：PIXOR）と、生の点群を処理するもの（例：PointRCNN）であり、それぞれに最適化されたCoRモジュールを提供すること。
• 深度推定器と3D検出器を1つのエンドツーエンド訓練パイプラインに統合し、検出損失が深度推定をガイドすることで、オブジェクト境界の精度を向上させること。
• ソフト量子化モジュールでラジアル基底関数（RBF）カーネルを用い、点が離散的なビンに与える重み付き寄与を計算することで、逆誤差伝搬中に滑らかな勾配を実現すること。
• 深度推定と3D検出の両方の目的関数を組み合わせたマルチタスク損失を用いて、システム全体を同時に訓練し、最終的な検出性能を最適化すること。

Figure 1: An illustration of the effectiveness of our end-to-end pipeline. The green bounding box is the ground truth detection of a car. The yellow points are points from LiDAR. The pink point cloud is generated from an independently trained depth estimator, which is inaccurate and lies out of the

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの訓練により、従来の別々の訓練とは対比して、疑似LiDARパイプラインにおける3Dオブジェクト検出の精度が向上するか？
• RQ2 量子化のような非可微分的演算を、統合訓練フレームワーク内で逆誤差伝搬と互換性を持たせるにはどうすればよいか？
• RQ3 エンドツーエンドの訓練は、遠く離れた、または隠蔽されているオブジェクトの周囲で、深度予測をどの程度改善するか？
• RQ4 提案されたフレームワークは、アーキテクチャの変更なしに、既存の最先端の深度推定器と3D検出器と互換性を保てるか？
• RQ5 エンドツーエンドの訓練は、KITTIのような標準ベンチマークで測定可能な改善をもたらすか、特にハード（遠く離れており、隠蔽されている）な検出カテゴリにおいて顕著な向上が見られるか？

主な発見

• PointRCNNを用いた、提案されたエンドツーエンド疑似LiDAR（E2E-PL）フレームワークは、提出時の時点でのKITTIの画像ベース3Dオブジェクト検出リーダーボードで最高のmAPを達成し、ベースライン疑似LiDARおよびPL++を上回った。
• E2E-PLは、ベースライン疑似LiDAR（PointRCNNを用いて）と比較して、中程度（moderate）カテゴリで3.5%、ハード（hard）カテゴリで4.2%のmAP向上を達成した。
• 定性的な結果から、エンドツーエンドの訓練により、オブジェクトの上部における深度推定のアーチファクトが顕著に減少し、特に遠く離れた、または隠蔽されているオブジェクト周辺の点群品質が向上した。
• すべてのカテゴリで検出性能が向上し、E2E-PLはハードカテゴリで77.1%のmAPを達成した。これは、PL++の72.9%、ベースラインPLの70.1%を上回った。
• E2E-PLの推論速度は、ベースライン疑似LiDARと同等であり、PointRCNNでは1フレームあたり0.49秒、PIXORでは0.55秒（1GPU）であり、計算オーバーヘッドが最小限に抑えられている。
• ソフト量子化CoRモジュールにより、勾配の効果的な流れが実現されており、特に困難な状況下で、深度予測の改善と検出結果における誤検出の減少が確認された。

Figure 2: Pixel distribution: $90\%$ of all pixels correspond to background. The 10% pixels associated with cars and people ( $<1$ % people) are primarily within a depth of 20m.