[論文レビュー] PerMO: Perceiving More at Once from a Single Image for Autonomous Driving

Feixiang Lu, Zongdai Liu+9 more|arXiv (Cornell University)|Jul 16, 2020

Advanced Neural Network Applications参考文献 61被引用数 4

ひとこと要約

PerMOは、部分ベースの可変モデルと高密度な2D/3D対応予測を組み合わせることで、単一画像からの高精度な3次元車両認識を実現するエンドツーエンドのディーブラーニングフレームワークを提案する。これは、コンsumer GPU上でほぼインタラクティブな推論速度を達成し、公開済みのデータセットとコードベースを備え、2Dインスタンスセグメンテーション（+4.4 mAP）、6-DoFポーズ推定（+9.11ポイント）、3次元検出（+1.37 mAP）で最先端の性能を達成している。

ABSTRACT

We present a novel approach to detect, segment, and reconstruct complete textured 3D models of vehicles from a single image for autonomous driving. Our approach combines the strengths of deep learning and the elegance of traditional techniques from part-based deformable model representation to produce high-quality 3D models in the presence of severe occlusions. We present a new part-based deformable vehicle model that is used for instance segmentation and automatically generate a dataset that contains dense correspondences between 2D images and 3D models. We also present a novel end-to-end deep neural network to predict dense 2D/3D mapping and highlight its benefits. Based on the dense mapping, we are able to compute precise 6-DoF poses and 3D reconstruction results at almost interactive rates on a commodity GPU. We have integrated these algorithms with an autonomous driving system. In practice, our method outperforms the state-of-the-art methods for all major vehicle parsing tasks: 2D instance segmentation by 4.4 points (mAP), 6-DoF pose estimation by 9.11 points, and 3D detection by 1.37. Moreover, we have released all of the source code, dataset, and the trained model on Github.

研究の動機と目的

• 自律走行のシナリオにおいて、深刻な隠蔽状態にある3次元車両認識を単一画像のみで効果的に行う挑戦に応えること。
• 部分ベースの可変車両モデルを構築し、部分的隠蔽に強い耐性を高め、正確な3次元再構成を可能にすること。
• 3次元認識モデルの学習とベンチマークに用いるための大規模かつ高密度な2D/3D対応データセットを生成すること。
• インスタンスセグメンテーション、6-DoFポーズ推定、テクスチャ付き3次元再構成のエンドツーエンド予測を、ほぼインタラクティブな速度で実現すること。
• 自律走行システムおよびシミュレータにこの手法を統合し、実用的導入とデータ駆動型シミュレーションを可能にすること。

提案手法

• 本手法は、車両を意味的パーツ（例：ボディ、タイヤ）に分解することで、隠蔽に強い耐性を向上させる、新規の部分ベース可変車両モデルを導入する。
• 2段階の高密度な2D/3D対応予測を定式化する：まずパーツレベルの領域を特定し、次に各パーツ内でのピクセル単位の対応を予測する。
• 幾何的事前知識と対称性を活用して、正確な再構成を実現するため、エンドツーエンドで訓練されたディープニューラルネットワークにより、高密度な2Dから3Dへのマッピングを予測する。
• テンプレートCADモデルを実際の車両に一致させるために、ボディパーツにはARAP、タイヤにはICPを用いた双方向変形戦略を採用し、一般化されたPCAベースの形状モデルを構築する。
• 予測された対応に基づいて3次元再構成を実行し、テクスチャマッピングとモデルの最適化を経て、メトリクス的に正確なテクスチャ付き3次元モデルを生成する。
• リアルタイム推論を最適化し、コンsumer GPU上でほぼインタラクティブな速度を達成しており、実行時間は検出された車両数に線形に比例する。

実験結果

リサーチクエスチョン

• RQ1 部分ベースの可変モデルは、単一画像シナリオにおける深刻な隠蔽状態でも、3次元車両認識の耐性を向上させることができるか？
• RQ2 エンドツーエンドのディープラーニングは、単一画像からの正確な3次元再構成を実現するための高密度な2D/3D対応をどれほど効果的に予測できるか？
• RQ3 提案手法は、2Dインスタンスセグメンテーション、6-DoFポーズ推定、3次元検出において、SOTA手法をどの程度上回るか？
• RQ4 大規模かつ高密度な2D/3D対応データセットは、自律走行における3次元認識モデルの性能を顕著に向上させることができるか？
• RQ5 本手法は、実世界の自律走行システムおよびシミュレータにおいて、スケーラビリティと効率性に優れているか？

主な発見

• PerMOは、2Dインスタンスセグメンテーションにおいて、SOTA手法を上回る4.4ポイントのmAP向上を達成し、インスタンスレベルの認識と局所化の優れた性能を示している。
• A3DP-Abs指標において、6-DoFポーズ推定が9.11ポイント向上し、複雑な隠蔽状態下でも3次元オブジェクトポーズ推定が著しく正確であることが示された。
• 3次元車両検出において、mAPが1.37ポイント向上し、単一画像からの3次元バウンディングボックス予測の精度が向上した。
• フレームワークは、コンsumer GPU上でほぼインタラクティブな推論性能を達成しており、実行時間はシーン内の車両数に線形に比例する。
• 高密度な2D/3D対応とパーツレベルのアノテーションを備えた本手法のデータセットは、公開されており、すでに自律走行シミュレーションや行動推論に活用されている。
• 自律走行システムおよびシミュレータへのPerMOの統合は、実世界の走行シナリオにおける実用的価値と耐性を示している。