[論文レビュー] Learning Geometry-Guided Depth via Projective Modeling for Monocular 3D Object Detection

Yinmin Zhang, Xinzhu Ma+5 more|arXiv (Cornell University)|Jul 29, 2021

Advanced Neural Network Applications参考文献 43被引用数 13

ひとこと要約

本論文は、2次元/3次元予測（バウンディングボックスサイズ、3次元寸法、オブジェクトポーズ）と深度の間の透視投影関係をモデル化することで、モノクローラル3次元オブジェクト検出における幾何学的ガイド付き深度推定手法を提案する。幾何学的制約を統合した微分可能で端末から端末まで最適化可能なニューラルモジュールとして埋め込まれた微分可能な幾何式を導入し、追加データなしでKITTIのマイルドなカー検出設定においてSOTAを2.80%の絶対的向上率で上回る。

ABSTRACT

As a crucial task of autonomous driving, 3D object detection has made great progress in recent years. However, monocular 3D object detection remains a challenging problem due to the unsatisfactory performance in depth estimation. Most existing monocular methods typically directly regress the scene depth while ignoring important relationships between the depth and various geometric elements (e.g. bounding box sizes, 3D object dimensions, and object poses). In this paper, we propose to learn geometry-guided depth estimation with projective modeling to advance monocular 3D object detection. Specifically, a principled geometry formula with projective modeling of 2D and 3D depth predictions in the monocular 3D object detection network is devised. We further implement and embed the proposed formula to enable geometry-aware deep representation learning, allowing effective 2D and 3D interactions for boosting the depth estimation. Moreover, we provide a strong baseline through addressing substantial misalignment between 2D annotation and projected boxes to ensure robust learning with the proposed geometric formula. Experiments on the KITTI dataset show that our method remarkably improves the detection performance of the state-of-the-art monocular-based method without extra data by 2.80% on the moderate test setting. The model and code will be released at https://github.com/YinminZhang/MonoGeo.

研究の動機と目的

• モノクローラル3次元オブジェクト検出における不正確な深度推定という重要なボトル neck を解決すること。
• 透視投影を用いて、シーンの深度と複数の2次元/3次元ネットワーク予測（例：バウンディングボックスサイズ、3次元寸法、ポーズ）の間の幾何的関係をモデル化すること。
• 深層表現学習に幾何的制約を統合できる、微分可能でエンドツーエンドで学習可能なモジュールを開発すること。
• 2次元アノテーションと3次元アノテーションから投影された2次元ボックスのずれを是正することで、訓練のロバスト性を高めること。
• KITTIデータセットにおいて既存手法を上回る強力なベースラインを確立すること。

提案手法

• 射影幾何学を用いて、3次元シーンの深度と2次元/3次元予測（例：2次元ボックスの高さ、3次元寸法、オブジェクトポーズ）の間の透視投影をモデル化する原理的で幾何的公式を提案する。
• 幾何公式を特徴学習に埋め込む微分可能なニューラルネットワークモジュールを設計し、深度と幾何的制約の両方を同時に最適化可能にする。
• 検出ヘッドに幾何モジュールを統合し、トレーニング時およびインフェレンス時における幾何学的特徴表現を用いて深度予測をガイドする。
• 2次元の正解アノテーションと3次元アノテーションから投影された2次元ボックスのずれを是正するデータ前処理戦略を導入し、監視品質を向上させる。
• 寄与要因の検証のため、幾何的要素の各部分の寄与度を評価するための簡略化版の幾何公式（Geo-SV1/SV2）を用いたアブレーションおよびアブレーションスタディを実施する。
• KITTIデータセットにおける評価に標準的な指標（AP40、SILog、sqRel）を用い、強力なベースラインおよびSOTA手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 透視投影を用いて2次元/3次元寸法、ポーズ、深度の全セットの幾何的関係をモデル化することで、モノクローラル深度推定が顕著に向上するか？
• RQ2 ニューラルネットワークアーキテクチャに微分可能な幾何公式を統合することで、直接回帰や部分的な幾何モデリングに比べて、より優れた3次元検出性能が得られるか？
• RQ3 提案手法は、特に頻度の高い深度範囲（例：40m以内）において、深度推定誤差をどれほど低減できるか？
• RQ4 2次元アノテーションと3次元アノテーションから投影された2次元ボックスのずれを是正することで、学習プロセスのロバスト性と正確性がどの程度向上するか？
• RQ5 追加データや複雑な後処理を必要とせず、提案手法がSOTA性能を達成できるか？

主な発見

• 提案手法は、KITTIテストセットにおけるマイルド設定下でのカークラスで13.81%のAP40を達成し、前回のSOTA手法を2.80%の絶対的向上率で上回った。
• 3次元寸法、2次元ボックスサイズ、ポーズのすべての幾何的要素を含む完全なモデルは、いずれかのコンポonentを除外したバリアントよりも優れた性能を示し、複数の幾何的関係をモデル化することの重要性を確認した。
• すべての深度範囲で深度推定が顕著に改善され、87%の車両が存在する40m以内の範囲で特に顕著で、SILogおよびsqRel誤差が低くなった。
• アブレーションスタディにより、幾何モデリングなしで3次元予測を直接使用する（Baseline + 3D-CAT）場合に比べ、幾何公式を適用した場合に性能が劣ることが確認され、提案公式の有効性が裏付けられた。
• ずれ是正のみを施したベースラインは、KITTIバリデーションセットで13.37%のAP40を達成し、その高い性能と今後の研究の基準としての可能性を示した。
• 幾何学的ガイド付き表現学習により、深度推定および3次元検出の両方で一貫した向上が得られ、エンドツーエンド学習における幾何的制約の有効性が検証された。