[論文レビュー] Rethinking Pseudo-LiDAR Representation

Xinzhu Ma, Shinan Liu+4 more|arXiv (Cornell University)|Aug 11, 2020

Advanced Neural Network Applications参考文献 40被引用数 9

ひとこと要約

この論文は、画像からLiDAR座標への座標変換を活用することで、擬似LiDARの点群表現に依存せずに、KITTIデータセットで最先端の性能を達成する画像ベースの3D検出器であるPatchNetを提案する。著者らは、擬似LiDARの性能向上がデータ表現そのものに起因するのではなく、座標変換によって暗黙的にカメラキャリブレーションが組み込まれるためであることを示している。これにより、2D CNNベースの特徴抽出とエンドツーエンド学習が向上する。

ABSTRACT

The recently proposed pseudo-LiDAR based 3D detectors greatly improve the benchmark of monocular/stereo 3D detection task. However, the underlying mechanism remains obscure to the research community. In this paper, we perform an in-depth investigation and observe that the efficacy of pseudo-LiDAR representation comes from the coordinate transformation, instead of data representation itself. Based on this observation, we design an image based CNN detector named Patch-Net, which is more generalized and can be instantiated as pseudo-LiDAR based 3D detectors. Moreover, the pseudo-LiDAR data in our PatchNet is organized as the image representation, which means existing 2D CNN designs can be easily utilized for extracting deep features from input data and boosting 3D detection performance. We conduct extensive experiments on the challenging KITTI dataset, where the proposed PatchNet outperforms all existing pseudo-LiDAR based counterparts. Code has been made available at: https://github.com/xinzhuma/patchnet.

研究の動機と目的

• モノクローラ／ステレオ3D検出における擬似LiDARベースの3D検出器の成功の背後にある根本的要因を調査すること。
• 擬似LiDAR表現自体が性能向上に不可欠であるのか、あるいは代替表現でも同等の結果が得られるのかを特定すること。
• 熟練した2D CNNアーキテクチャを活用し、エンドツーエンド学習を可能にする、より汎用性の高い画像ベースの3D検出器を開発すること。
• 画像座標からLiDAR座標への座標変換が、性能向上の主な要因であることを検証すること。データ表現そのものではなく、座標変換が性能向上をもたらす。

提案手法

• 擬似LiDAR手法のアーキテクチャを模倣したが、擬似LiDAR点群ではなく生画像入力を使用する画像ベースの検出器であるPatchNet-vanillaを設計する。
• 予測された深度マップと画像特徴を統合し、カメラキャリブレーションを用いて2D画像座標を3Dワールド座標に変換し、追加の入力チャネルとして用いる。
• 標準的な2D畳み込みニューラルネットワーク（CNN）を用いて、統合された画像および座標データから特徴を抽出し、エンドツーエンド学習を可能にする。
• 特徴マップの上に3D検出ヘッドを適用し、位置、サイズ、方向の損失関数を最適化して3Dバウンディングボックスを予測する。
• 表現の影響を公正に評価するため、すべての比較で一貫してDORN深度推定器を用いる。
• 座標変換とデータ表現の両者が性能向上に与える寄与を分離するためにアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 擬似LiDARが標準的な画像ベースの3D検出器を上回る背後にある真の根本的メカニズムは何か？
• RQ2 擬似LiDARの点群表現が画像ベースの表現に比べて根本的な利点を提供するのか？
• RQ3 座標情報の追加を伴う純粋に画像特徴に基づく検出器が、擬似LiDARベースの検出器と同等またはそれ以上の性能を達成できるか？
• RQ4 データ表現とは独立して、画像からLiDAR座標への座標変換が検出精度にどの程度寄与しているか？
• RQ5 入力特徴空間に世界座標を統合することで、画像ベースの3D検出器をより効果的かつ汎用性を高められるか？

主な発見

• 擬似LiDARの性能向上は、点群表現そのものではなく、画像からLiDAR座標への座標変換により、カメラキャリブレーション情報が埋め込まれるためである。
• アーキテクチャが擬似LiDARと同一であるが点群変換を行わない画像ベースの検出器であるPatchNet-vanillaは、KITTIデータセットで擬似LiDARと同等の性能を達成する。
• 提案されたPatchNetモデルは、KITTIデータセットで最先端の性能を達成し、車両カテゴリのハードセットにおけるAP@11が35.1%に達する。
• AP@11のハードセット評価において、以前のSOTA手法であるAM3Dを2.34%上回り、提案手法の有効性を示している。
• エンドツーエンド学習が可能であり、従来の擬似LiDARパイプラインで用いられる点単位のCNNと比較して、強力な2D CNNをより効果的に活用できる。
• 失敗事例の主な原因はオクルージョンおよびトランクエーションであり、一部の2D検出器の失敗が3D検出に波及しているため、2D検出のロバスト性向上に余地がある。