[論文レビュー] MonoRUn: Monocular 3D Object Detection by Reconstruction and Uncertainty Propagation

Hansheng Chen, Yuyao Huang+3 more|arXiv (Cornell University)|Mar 23, 2021

Advanced Neural Network Applications参考文献 38被引用数 9

ひとこと要約

MonoRUnは、単眼の3次元物体検出フレームワークを提案する。このフレームワークは、単純な3次元バウンディングボックスのアノテーションから、密な2D-3D対応関係と幾何構造を自己教師付きで学習する。不確実性を考慮した再構成と、回帰性能を向上させるための新規なロバストKL損失を用いる。PnPを介して不確実性を伝搬させ、ポーズの共分散を推定することで、真の3次元モデルやキーポイントアノテーションが不要な状況でも、信頼性の高いスコアリングとロバストな局所化を実現。KITTIベンチマークでは最先端の性能を達成した。

ABSTRACT

Object localization in 3D space is a challenging aspect in monocular 3D object detection. Recent advances in 6DoF pose estimation have shown that predicting dense 2D-3D correspondence maps between image and object 3D model and then estimating object pose via Perspective-n-Point (PnP) algorithm can achieve remarkable localization accuracy. Yet these methods rely on training with ground truth of object geometry, which is difficult to acquire in real outdoor scenes. To address this issue, we propose MonoRUn, a novel detection framework that learns dense correspondences and geometry in a self-supervised manner, with simple 3D bounding box annotations. To regress the pixel-related 3D object coordinates, we employ a regional reconstruction network with uncertainty awareness. For self-supervised training, the predicted 3D coordinates are projected back to the image plane. A Robust KL loss is proposed to minimize the uncertainty-weighted reprojection error. During testing phase, we exploit the network uncertainty by propagating it through all downstream modules. More specifically, the uncertainty-driven PnP algorithm is leveraged to estimate object pose and its covariance. Extensive experiments demonstrate that our proposed approach outperforms current state-of-the-art methods on KITTI benchmark.

研究の動機と目的

• 正確な3次元モデルやキーポイントアノテーションを取得することが現実的でない、実世界のドライブシーンにおける3次元物体検出の課題に対処すること。
• 単眼3次元検出において、真の3次元幾何構造、マスク、キーポイントの監視に依存しないようにすること。
• 自己教師付き再構成を用いて、3次元座標予測の回帰精度と不確実性のキャリブレーションを向上させること。
• PnPパイプラインを介して予測の不確実性を伝搬させ、ポーズの共分散を推定することで、確率的3次元局所化を可能とすること。

提案手法

• 領域別再構成ネットワークが、各2次元オブジェクト候補内における密な3次元オブジェクト座標を回帰し、オブジェクト座標系における局所的な点群を形成する。
• 自己教師付き学習は、真のポーズとカメラ内部パrametersを用いて予測された3次元座標を画像平面に再投影し、再投影誤差を最小化することで達成される。
• ロバストKL損失は、予測されたガウス分布と真のディラックデルタ分布とのKLダイバージェンスを最小化する。不確実性を考慮した重み付けにより、回帰の安定性が向上する。
• 3次元座標予測のアレアトリック不確実性が推定され、不確実性駆動のPnPアルゴリズムをガイドするために使用される。低不確実性のフォアグラウンド領域に焦点を当てる。
• 不確実性がPnPモジュールを介して伝搬され、ポーズの共分散行列が計算される。この共分散行列は、検出の信頼性スコアリングに使用される。
• 不確実性推定の向上を図るため、潜在ベクトルが導入され、アブレーション実験により、この潜在ベクトルがアレアトリック不確実性のモデル化において極めて重要な役割を果たしていることが示された。

実験結果

リサーチクエスチョン

• RQ1 3次元モデルやキーポイントアノテーションが不要な状況でも、現実世界の単眼3次元検出において、密な2D-3D対応関係を学習できるか？
• RQ2 3次元座標予測における不確実性は、効果的にモデル化され、PnPベースのポーズ推定の向上に活用できるか？
• RQ3 ロバストKL損失のような新規な不確実性を考慮した損失関数は、標準的な損失関数よりも優れた回帰性能をもたらすか？
• RQ4 PnPを介した不確実性の伝搬により、信頼性の高いポーズ共分散推定が得られ、検出の信頼性スコアリングが向上するか？

主な発見

• MonoRUnはKITTIベンチマークで31.21 mAPを達成し、現在の最先端手法を上回った。
• ロバストKL損失は、ラプラス分布を用いたKL損失と比較してmAPを1.74ポイント向上させ、不確実性を考慮した回帰の重要性を示した。
• 微分可能なPnPを用いたエンドツーエンドの最適化は、ロバストKL損失で初期化された場合、性能がわずかに低下した。これは、自己教師付き学習による最適化が優れていることを示唆している。
• 潜在ベクトルを無効化するとmAPが1.98ポイント低下し、アレアトリック不確実性のモデル化においてその重要性が明確に示された。
• トレーニングスプリットにおいて、予測された不確実性は実際の局所化誤差とよく一致しており、共分散のキャリブレーションが有効に行われていることを検証した。
• バリデーションスプリットではモデルが過信ぎみに振る舞ったが、経験的共分散スケーリングにより性能を向上させることができた。これは、エピステミック不確実性のキャリブレーションの余地があることを示している。