[論文レビュー] Depth-conditioned Dynamic Message Propagation for Monocular 3D Object Detection

Li Wang, Liang Du+6 more|arXiv (Cornell University)|Mar 30, 2021

Advanced Neural Network Applications参考文献 49被引用数 12

ひとこと要約

本稿では、文脈に配慮したノードを動的にサンプリングし、深さに依存する多スケールのフィルタ重みとアフィニティ行列を用いて特徴を伝搬する、グラフベースの手法DDMP-3Dを提案する。単眼3次元オブジェクト検出において、2020年11月16日時点でKITTIベンチマークで1位を達成し、正確でない深さ事前知識の影響を軽減するためのセンターに配慮した深さ符号化タスクを統合している。

ABSTRACT

The objective of this paper is to learn context- and depth-aware feature representation to solve the problem of monocular 3D object detection. We make following contributions: (i) rather than appealing to the complicated pseudo-LiDAR based approach, we propose a depth-conditioned dynamic message propagation (DDMP) network to effectively integrate the multi-scale depth information with the image context;(ii) this is achieved by first adaptively sampling context-aware nodes in the image context and then dynamically predicting hybrid depth-dependent filter weights and affinity matrices for propagating information; (iii) by augmenting a center-aware depth encoding (CDE) task, our method successfully alleviates the inaccurate depth prior; (iv) we thoroughly demonstrate the effectiveness of our proposed approach and show state-of-the-art results among the monocular-based approaches on the KITTI benchmark dataset. Particularly, we rank $1^{st}$ in the highly competitive KITTI monocular 3D object detection track on the submission day (November 16th, 2020). Code and models are released at \url{https://github.com/fudan-zvg/DDMP}

研究の動機と目的

• 単一のRGB画像に由来するスケールのばらつきと深さの手がかりの欠如に起因する、単眼3次元オブジェクト検出の課題に対処すること。
• 正確でない深さマップに依存するための偽LiDAR手法の限界を克服し、RGB画像からのセマンティック情報を捨てないこと。
• 動的で深さに配慮した方法で、多スケールの深さ特徴と画像の文脈を統合することで、特徴表現を向上させること。
• 正確でない深さ事前知識が3次元位置特定に与える影響を、補助的なセンターに配慮した深さ符号化タスクによって軽減すること。
• 高価なLiDARセンサーに依存せずに、単眼3次元オブジェクト検出で最先端の性能を達成すること。

提案手法

• 各特徴マップのピクセルをノードとみなすグラフベースの定式化を採用し、文脈的に関連する近隣ノードを動的にサンプリングする。
• 多スケールの深さ特徴を用いて、ハイブリッドで深さ依存のフィルタ重みとアフィニティ行列を学習する深さに依存する動的メッセージ伝搬を導入する。
• 2本のブランチ構造を採用：1本は3次元検出用、もう1本は深さ特徴抽出用。DDMPモジュールは、下流ブランチからの深さ特徴を用いて画像ブランチで動作する。
• 深さ特徴がインスタンスに配慮するようガイドするための補助損失として、センターに配慮した深さ符号化（CDE）タスクを導入する。
• エンドツーエンドで最適化され、推論時にはCDEヘッドが破棄される。
• 多スケールの深さ特徴を用いることで、さまざまなオブジェクトスケールにわたる認識性能が向上し、視覚的歪みに対するロバスト性が向上する。

Figure 1: Left : DDMP adaptively samples context-aware nodes (top) in the image context and dynamically predicting hybrid depth-dependent filter weights and affinity matrices (bottom) for propagating information. Right : the improvement of DDMP-3D (red) over the baseline (yellow) via center-aware de

実験結果

リサーチクエスチョン

• RQ1 多スケールの深さ特徴に条件づけられた動的メッセージ伝搬は、単眼3次元オブジェクト検出における文脈に配慮した特徴学習を改善できるか？
• RQ2 深さに配慮したグラフベースのメッセージ伝搬を統合することで、単純な特徴統合や偽LiDAR手法と比較して、3次元検出性能がどのように向上するか？
• RQ3 センターに配慮した深さ符号化タスクは、正確でない深さ事前知識が3次元位置特定に与える悪影響をどの程度軽減できるか？
• RQ4 提案手法は、単眼およびステレオベースの推定器を含む、さまざまな深さ推定ネットワークに一般化可能か？
• RQ5 提案手法は、LiDARデータに依存せずにKITTIベンチマークで最先端の性能を達成できるか？

主な発見

• 提案されたDDMP-3Dモデルは、2020年11月16日時点で公式KITTI単眼3次元検出ベンチマークで1位を達成し、'easy' KITTI 3D検出サブセットで30.83%の平均適合率（AP）を達成した。
• アブレーションスタディの結果、動的メッセージ伝搬のみで'moderate'サブセットのAPが18.82%から22.36%に向上し、グラフベースのメカニズムの有効性が示された。
• 多スケールの深さ特徴（Group III）を用いることで、単一スケールの深さ特徴と比較して0.48%の性能向上が得られ、スケールに配慮した深さ認識の利点が確認された。
• センターに配慮した深さ符号化（CDE）タスクの追加により、'easy'サブセットのAPが28.12%から31.14%に向上し、位置特定精度の顕著な向上が示された。
• ベースラインおよびD⁴LCNモデルと比較して、それぞれ'easy'および'moderate'サブセットで5.42%および6.50%の向上を達成した。
• DORNおよびPSMNetを含むさまざまな深さ推定器に対しても一貫した改善が見られ、深さ品質の違いに対しても強い一般化性能を示した。

Figure 2: Schematic illustration of our proposed DDMP-3D. Two branches are involved including 3D detection branch (colored in blue) and depth feature extraction branch (colored in green). The DDMP modules in yellow color reveal the depth-conditioned dynamic message propagation. It dynamically sample