[論文レビュー] MonoJSG: Joint Semantic and Geometric Cost Volume for Monocular 3D Object Detection

Qing Lian, Peiliang Li+1 more|arXiv (Cornell University)|Mar 16, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

MonoJSGは、ピクセル単位の視覚的ヒントを用いて深度予測を精緻化する、モノクローラ3次元オブジェクト検出のための共同セマンティックおよび幾何的コストボリュームを提案する。3次元オブジェクト座標を正規化して画像空間に再投影し、適応的4次元コストボリュームで幾何的およびセマンティック誤差をモデル化することで、KITTIおよびWaymoベンチマークで最先端の性能を達成し、リアルタイム推論を実現した。

ABSTRACT

Due to the inherent ill-posed nature of 2D-3D projection, monocular 3D object detection lacks accurate depth recovery ability. Although the deep neural network (DNN) enables monocular depth-sensing from high-level learned features, the pixel-level cues are usually omitted due to the deep convolution mechanism. To benefit from both the powerful feature representation in DNN and pixel-level geometric constraints, we reformulate the monocular object depth estimation as a progressive refinement problem and propose a joint semantic and geometric cost volume to model the depth error. Specifically, we first leverage neural networks to learn the object position, dimension, and dense normalized 3D object coordinates. Based on the object depth, the dense coordinates patch together with the corresponding object features is reprojected to the image space to build a cost volume in a joint semantic and geometric error manner. The final depth is obtained by feeding the cost volume to a refinement network, where the distribution of semantic and geometric error is regularized by direct depth supervision. Through effectively mitigating depth error by the refinement framework, we achieve state-of-the-art results on both the KITTI and Waymo datasets.

研究の動機と目的

• 2次元から3次元への深度回復が曖昧であるため、モノクローラ3次元オブジェクト検出の不適切な性質に対処すること。
• 疎な2次元キーポイントや間接的な深度監視に依存する従来手法の限界を克服すること。
• より正確な深度予測のため、密なピクセル単位の視覚的ヒント（幾何的およびセマンティック）を活用すること。
• 最終的な特徴の判別能を向上させるために、エンドツーエンドの深度監視を統合すること。
• KITTIおよびWaymoデータセットで最先端の性能を達成し、リアルタイム推論が可能な能力を実現すること。

提案手法

• 深層ニューラルネットワークを用いて、正規化された3次元オブジェクト特徴を生成するための3次元オブジェクト座標、寸法、ヨー角を推定する。
• 初期の深度推定値を用いて、正規化された3次元座標を画像空間に再投影し、ピクセル単位の幾何的制約を形成する。
• 予測された2次元ピクセル位置と再投影された3次元座標との差異として、幾何的誤差を測定する。
• 元の2次元位置と再投影された3次元座標位置で抽出された特徴を比較することで、セマンティック誤差を計算する。
• 候補となる深度周辺の幾何的およびセマンティック誤差の同時分布をモデル化する、適応的4次元コストボリュームを構築する。
• 予測された深度不確実性に基づく適応的サンプリングを用いて、コストボリュームを最適化し、最終的な深度を予測するリファインメントネットワークと深度監視を統合する。

実験結果

リサーチクエスチョン

• RQ1 疎な2次元キーポイント制約と比較して、密なピクセル単位の視覚的ヒントは、モノクローラ3次元オブジェクト検出における深度推定精度を向上させるか？
• RQ2 コストボリューム内でセマンティック誤差と幾何的誤差を組み合わせることで、単独で使用するいずれのヒントよりも深度のリファインメントが向上するか？
• RQ3 エンドツーエンドの深度監視は、リファインメントに使用される特徴の判別能をどの程度向上させるか？
• RQ4 各プロポーザルごとに変化する適応的コストボリュームは、多様な深度およびオブジェクトスケールにわたる一般化性と精度を向上させるか？
• RQ5 提案手法は、KITTIやWaymoといった標準ベンチマークで最先端の性能を達成するか、かつリアルタイム推論を維持できるか？

主な発見

• KITTIテストセット（Easy）では26.4%のmAPを達成し、新たな最先端性能を樹立した。
• Waymoデータセットでは、26.4%（Easy）、18.3%（Moderate）、15.4%（Hard）のmAPを達成し、先行手法を上回った。
• アブレーションスタディの結果、リファインメントモジュールで幾何的およびセマンティック特徴を併用することで、幾何的特徴のみのケースに比べてmAPが2.1%向上した。
• コストボリュームにおける適応的サンプリングは、均一なサンプリングを上回り、32サンプルを使用した場合にKITTI Moderateセットで1.1%のmAP向上を示した。
• 定量的結果では、より凸な損失のランドスケープと、実際の正解との良好な一致が確認され、深度誤差が顕著に低減された。
• 学習されたセマンティック表現を活用することで、ピクセル単位の光度特徴に依存するのではなく、オクルージョンやテクスチャの欠片のない領域に対しても頑健であることが示された。