[論文レビュー] Orthographic Feature Transform for Monocular 3D Object Detection

Thomas Roddick, Alex Kendall+1 more|arXiv (Cornell University)|Nov 20, 2018

Advanced Neural Network Applications参考文献 34被引用数 81

ひとこと要約

Orthographic Feature Transform (OFT) を導入し、画像ベースの特徴を正投影鳥瞰ビューへマッピングすることで、モノクラリな 3D 推論を可能にし、KITTI でモノクロラルの最先端を達成します。

ABSTRACT

3D object detection from monocular images has proven to be an enormously challenging task, with the performance of leading systems not yet achieving even 10\% of that of LiDAR-based counterparts. One explanation for this performance gap is that existing systems are entirely at the mercy of the perspective image-based representation, in which the appearance and scale of objects varies drastically with depth and meaningful distances are difficult to infer. In this work we argue that the ability to reason about the world in 3D is an essential element of the 3D object detection task. To this end, we introduce the orthographic feature transform, which enables us to escape the image domain by mapping image-based features into an orthographic 3D space. This allows us to reason holistically about the spatial configuration of the scene in a domain where scale is consistent and distances between objects are meaningful. We apply this transformation as part of an end-to-end deep learning architecture and achieve state-of-the-art performance on the KITTI 3D object benchmark.\footnote{We will release full source code and pretrained models upon acceptance of this manuscript for publication.

研究の動機と目的

• モノラルの 3D 物体検出を動機づけ、LiDAR ベース手法とのギャップを埋める。
• 画像特徴を BEV 空間にマッピングする微分可能な Orthographic Feature Transform (OFT) を提案する。
• BEV 空間で 3D 構造を推論するエンドツーエンドの CNN アーキテクチャを開発する。
• モノクラリ入力から 3D バウンディングボックスと関連属性（位置、サイズ、姿勢）を予測する。
• モノラル KITTI での最先端結果を示し、3D 推論の利点を分析する。

提案手法

• 投影された体積要素領域（ボクセル）で画像特徴 f(u,v) を集約してボクセルベースの 3D 特徴マップ g(x,y,z) を定義する（式 1）。
• 学習された重み W(y) を用いて高さ方向に沿って g を折り畳み、正投影 BEV 特徴マップ h(x,z) を得る（式 3）。
• 多くの領域で高速平均プーリングを実現するために積分画像を用いて特徴を効率的にプーリングする（式 5）。
• BEV 特徴をトップダウンネットワーク（ResNet 的）で処理し、3D シーン構造を推論する。
• 場所ごとに出力を予測する：信頼度 S、位置オフセット Δpos、寸法オフセット Δdim、角度ベクトル Δang（式 6–9）。
• S、Δpos、Δdim、Δang に対して L1 損失で学習し、BEV 信頼マップ上で NMS を用いて最終的な 3D ボックスを得る。

実験結果

リサーチクエスチョン

• RQ1 画像空間特徴から正投影 BEV 空間への微分可能なマッピングは単一画像からの堅牢な 3D 推論を可能にするか。
• RQ2 BEV 空間での推論は画像空間アプローチと比較して KITTI におけるモノラル 3D 物体検出性能を向上させるか。
• RQ3 OFT ベースの BEV 表現は遠距離や遮蔽物体の検出にどのような影響を与えるか。
• RQ4 トップダウン BEV ネットワークの深さは 3D 検出性能にどのような影響を与えるか。

主な発見

手法	モダリティ	AP3D Easy	AP3D Moderate	AP3D Hard	APBEV Easy	APBEV Moderate	APBEV Hard
3D-SSMFCNN	Mono	2.28	2.39	1.52	3.66	3.19	3.45
OFT-Net (Ours)	Mono	2.50	3.28	2.27	9.50	7.99	7.51
3DOP	Stereo	6.55	5.07	4.10	12.63	9.49	7.59
Mono3D	Mono	2.53	2.31	2.31	5.22	5.19	4.13
OFT-Net (Ours)	Mono	4.07	3.27	3.29	11.06	8.79	8.91

• OFT は深度の明示的な監視なしに画像特徴を BEV 表現へマッピングすることでエンドツーエンド学習を可能にする。
• トップダウン BEV 推論はベースラインと比較して KITTI のモノラル 3D 検出性能を大きく向上させる。
• OFT-Net は KITTI のモノラル手法の中で最先端の結果を達成し、Mono3D を上回り BEV 指標でステレオ結果に近づく。
• このアプローチは遠距離物体でも強い性能を維持し、いくつかの競合するモノラル手法よりも劣化が緩やかである。
• アブレーションによりより深い BEV 推論（トップダウンネットワーク）が RoI ライクプーリングベースラインより顕著な gains をもたらすことが示された。
• BEV 信頼マップは物体中心を効果的に局在させ、BEV 空間での NMS を容易にする。