[論文レビュー] Probabilistic and Geometric Depth: Detecting Objects in Perspective

Tai Wang, Xinge Zhu+2 more|arXiv (Cornell University)|Jul 29, 2021

Advanced Neural Network Applications参考文献 50被引用数 94

ひとこと要約

本論文は PGD を提案し、確率的深度不確実性と幾何的深度伝播グラフを組み合わせてモノスクラル3D物体検出を改善し、KITTIと nuScenes で最先端の結果を達成しつつリアルタイム性を維持します。

ABSTRACT

3D object detection is an important capability needed in various practical applications such as driver assistance systems. Monocular 3D detection, as a representative general setting among image-based approaches, provides a more economical solution than conventional settings relying on LiDARs but still yields unsatisfactory results. This paper first presents a systematic study on this problem. We observe that the current monocular 3D detection can be simplified as an instance depth estimation problem: The inaccurate instance depth blocks all the other 3D attribute predictions from improving the overall detection performance. Moreover, recent methods directly estimate the depth based on isolated instances or pixels while ignoring the geometric relations across different objects. To this end, we construct geometric relation graphs across predicted objects and use the graph to facilitate depth estimation. As the preliminary depth estimation of each instance is usually inaccurate in this ill-posed setting, we incorporate a probabilistic representation to capture the uncertainty. It provides an important indicator to identify confident predictions and further guide the depth propagation. Despite the simplicity of the basic idea, our method, PGD, obtains significant improvements on KITTI and nuScenes benchmarks, achieving 1st place out of all monocular vision-only methods while still maintaining real-time efficiency. Code and models will be released at https://github.com/open-mmlab/mmdetection3d.

研究の動機と目的

• インスタンス深度推定がモノスクラル3D検出における重要なボトルネックであることを示し、深度推定を改善することが全体の性能を向上させる。
• 各オブジェクトの深度の不確実性を捉える確率的深度表現を提案する。
• 物体間の文脈関係を活用するために、透視幾何学に基づく深度伝播グラフを導入する。
• 学習された融合機構を介して確率的局所深度とグラフベースの幾何深度を融合する。
• エンドツーエンドのフレームワークを用いて、リアルタイム性能と KITTI および nuScenes での最先端結果を示す。

提案手法

• 深度を深度区間の確率分布としてモデル化し、期待深度 D_P を計算する。
• 深度分布からのトップ-k の信頼度スコアで深度不確実性を表し、深度スコア s^d を導出する。
• 透視幾何学を用いて物体間の深度を関連づける深度伝播グラフを構築し、深度信頼度、2D近接、クラス類似度に基づくエッジの剪定とゲーティングを行う。
• エッジスコアを用いた他の物体の深度予測の加重和として幾何ベースの深度 D_G を計算し、勾配なし伝播段階を保証する。
• 局所深度 D_L（直接回帰 D_R と確率的深度 D_P の組み合わせ）と幾何深度 D_G を、位置認識マップ alpha によって統合する: D = sigma(alpha) * D_L + (1 - sigma(alpha)) * D_G。
• 最終の深度予測をエンドツーエンドの FCOS3D ベースの検出器に組み込み、標準の損失関数で学習する。

実験結果

リサーチクエスチョン

• RQ1 モノキュラ 3D 検出の主要なボトルネックをインスタンス深度推定として再定式化でき、これに対処するとすべての3D予測が改善されるか？
• RQ2 確率的深度表現は不確実性を捉え伝播を導くことで深度推定を改善するか？
• RQ3 複数オブジェクト間の幾何関係（深度伝播グラフを通じて）は、孤立したインスタンスを超えて深度推定に顕著な利点をもたらすか？
• RQ4 確率的/局所と幾何深度のシンプルな融合で、頑強でリアルタイムなモノキュラ 3D 検出性能を実現できるか？
• RQ5 提案手法 PGD は、標準ベンチマーク（KITTI、nuScenes）で従来のモノキュラ法と比較してどのような性能を示すか？

主な発見

• 深度が主要なボトルネックとして特定され、正確な深度は他の3D属性の改善を可能にする。
• 不確実性スコアを含む確率的深度推定（D_P）は、直接回帰のみより深度精度を改善する。
• 透視幾何グラフを介した深度伝播（D_G）は、隣接オブジェクトからの文脈手掛かりを活用して深度を改善する。
• 位置情報を考慮したマップ（D_L）とゲーティング機構を組み合わせることで、速度を犠牲にすることなく大きな性能向上を実現する。
• PGD は KITTI および nuScenes ベンチマークにおいて monocular vision-only 手法の第一位を達成し、リアルタイム（≈36 Hz）で動作する。
• PGD の部品を補完するだけで、単純な FCOS3D ベースのバックボーンで十分であることを示し、透視ベース検出の深度に焦点を当てた設計の有効性を実証する。