[論文レビュー] Task-Aware Monocular Depth Estimation for 3D Object Detection

Xinlong Wang, Wei Yin+4 more|arXiv (Cornell University)|Sep 17, 2019

Advanced Vision and Imaging参考文献 41被引用数 8

ひとこと要約

本稿では、前景と背景の深度を別々のデコーダーと損失関数を用いて最適化することで、3Dオブジェクト検出の精度を著しく向上させる、タスクに適応した単眼深度推定手法ForeSeEを提案する。前景深度に特化した目的関数を用いることで、KITTI 3Dオブジェクト検出ベンチマークで7.5 APの向上を達成し、単眼手法における新たなSOTAを樹立した。

ABSTRACT

Monocular depth estimation enables 3D perception from a single 2D image, thus attracting much research attention for years. Almost all methods treat foreground and background regions ("things and stuff") in an image equally. However, not all pixels are equal. Depth of foreground objects plays a crucial role in 3D object recognition and localization. To date how to boost the depth prediction accuracy of foreground objects is rarely discussed. In this paper, we first analyse the data distributions and interaction of foreground and background, then propose the foreground-background separated monocular depth estimation (ForeSeE) method, to estimate the foreground depth and background depth using separate optimization objectives and depth decoders. Our method significantly improves the depth estimation performance on foreground objects. Applying ForeSeE to 3D object detection, we achieve 7.5 AP gains and set new state-of-the-art results among other monocular methods. Code will be available at: https://github.com/WXinlong/ForeSeE.

研究の動機と目的

• 既存の単眼深度推定手法が前景オブジェクトにおいて性能が劣っている問題に取り組むこと。これは3Dオブジェクト検出において極めて重要である。
• 単一画像からの深度推定における前景と背景の深度のデータ分布の違いおよび相互作用を調査すること。
• 背景性能を損なわせることなく、前景深度の精度を向上させる手法を開発すること。
• 下流の3D検出タスクにおけるタスクに適応した深度推定の有効性を実証すること。
• 将来の前景中心の深度推定に関する研究のためのベンチマークと公平なベースラインを確立すること。

提案手法

• 前景と背景領域のそれぞれに別々のデコーダーを用いて、異なる深度表現を学習する。
• 前景と背景のピクセルに異なる最適化目的を適用する、前景・背景分離型損失関数を採用する。
• 2つのデコーダーからの予測を統合するシンプルだが効果的なマージ戦略を導入し、統一された深度マップを生成する。
• 前景領域はインスタンスセグメンテーションマスクを用いて特定され、それらが前景専用デコーダーの学習をガイドする。
• 予測された深度マップを用いて3Dポイントクラウドを生成するための疑似LiDARパイプラインに本手法を統合する。
• 検出ヘッドに変更を加えず、KITTI-Objectの学習セット上でエンドツーエンドにモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 単眼深度推定における前景と背景の深度のデータ分布はどのように異なるか？
• RQ2 標準的な深度推定ネットワークで前景と背景の深度を同等に扱うと、どのような影響があるか？
• RQ3 別々の最適化目的とデコーダーを用いることで、背景性能を損なわせることなく前景オブジェクトの深度精度を向上させられるか？
• RQ4 改善された前景深度推定は、3Dオブジェクト検出性能にどの程度の向上効果をもたらすか？
• RQ5 提案手法は、さまざまな3Dオブジェクト検出器に一般化可能か？

主な発見

• AVOD検出器を用いた場合、KITTI 3Dオブジェクト検出ベンチマークで7.5 APの向上を達成し、BEV指標で15.0から23.4 APに向上した。
• F-PointNet検出器を用いた場合、Easyレベルで3.6 APの向上、Moderateレベルで7.5 APの向上を達成した。
• 前景深度の精度が著しく向上し、3D検出における局所化誤差や形状歪みの問題が軽減された。
• 標準的な深度推定を用いたベースラインモデルは、AVODを用いてBEVで19.0 APを達成したが、ForeSeE-PLでは23.4 APに向上した。
• 定性的な結果では、誤検出が減少し、特に車両などの前景オブジェクトの3Dバウンディングボックスがより正確に推定された。
• 背景深度の品質は維持され、あるいはわずかに向上したことが確認され、前景最適化が全体の性能を劣化させないことが裏付けられた。