[論文レビュー] MoGDE: Boosting Mobile Monocular 3D Object Detection with Ground Depth Estimation

Yunsong Zhou, Quan Liu+4 more|arXiv (Cornell University)|Mar 23, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

MoGDEは、カメラポーズと透視幾何学を用いて地面の奥行きを推定し、トランスフォーマーに基づくRGB-D特徴融合ネットワークでその奥行き情報を統合することで、モバイル環境における精度と耐障害性を向上させる、新しい単眼3次元オブジェクト検出フレームワークを提案する。KITTI 3Dベンチマークにおいて最先端の性能を達成し、特に遠方オブジェクトに対して顕著な向上を示した。

ABSTRACT

Monocular 3D object detection (Mono3D) in mobile settings (e.g., on a vehicle, a drone, or a robot) is an important yet challenging task. Due to the near-far disparity phenomenon of monocular vision and the ever-changing camera pose, it is hard to acquire high detection accuracy, especially for far objects. Inspired by the insight that the depth of an object can be well determined according to the depth of the ground where it stands, in this paper, we propose a novel Mono3D framework, called MoGDE, which constantly estimates the corresponding ground depth of an image and then utilizes the estimated ground depth information to guide Mono3D. To this end, we utilize a pose detection network to estimate the pose of the camera and then construct a feature map portraying pixel-level ground depth according to the 3D-to-2D perspective geometry. Moreover, to improve Mono3D with the estimated ground depth, we design an RGB-D feature fusion network based on the transformer structure, where the long-range self-attention mechanism is utilized to effectively identify ground-contacting points and pin the corresponding ground depth to the image feature map. We conduct extensive experiments on the real-world KITTI dataset. The results demonstrate that MoGDE can effectively improve the Mono3D accuracy and robustness for both near and far objects. MoGDE yields the best performance compared with the state-of-the-art methods by a large margin and is ranked number one on the KITTI 3D benchmark.

研究の動機と目的

• 単眼視覚における近−遠差による奥行きの不確実性が原因で、遠方オブジェクトの検出精度が低くなるという課題に対処すること。
• 自動運転車やドローンなどのモバイルアプリケーションで一般的な動的カメラポーズ変動に対しても、Mono3D検出器の耐障害性を向上させること。
• カメラポーズと透視幾何学を用いて推定したピクセル単位の奥行きを、事前知識として活用し、3次元オブジェクト検出を支援すること。
• 既存の画像のみを入力とするMono3D検出器に、地面の奥行きをガイドとして統合できる柔軟でプラグイン型のモジュールを設計すること。
• 特に困難で遠方のオブジェクト検出においても、KITTI 3Dベンチマークで最先端の性能を達成すること。

提案手法

• 視線方向を推定するために、消失点と水平線検出を用いて画像特徴からカメラのピッチとロールを推定するポーズ検出ネットワークを採用する。
• 仮想シーンに空と地面しか存在しないと仮定し、3次元から2次元への透視投影を用いてピクセル単位の地面の奥行き特徴マップを構築する。
• 長距離自己注意機構を用いて地面に接している点を特定し、奥行き特徴と画像特徴を一致させる、地面に配慮したトランスフォーマーに基づく特徴融合ネットワークを設計する。
• RGB-D特徴融合モジュールは、推定された地面の奥行きと画像特徴を統合することで、3次元バウンディングボックスの予測精度を向上させる。
• 本手法はプラグインモジュールとして設計されており、アーキテクチャの大幅な見直しを伴わずに、既存の画像のみのMono3D検出器に統合可能である。
• アブレーションスタディではカメラポーズのばらつきをシミュレートし、さまざまなポーズ条件下での性能低下を測定することで耐障害性を評価する。

実験結果

リサーチクエスチョン

• RQ1 地面の奥行き推定は、特に遠方オブジェクトに対して、単眼3次元オブジェクト検出の精度を顕著に向上させることができるか？
• RQ2 トランスフォーマーに基づく統合メカニズムを用いて、推定された地面の奥行きと画像特徴を統合することは、どの程度効果的か？
• RQ3 モバイルシナリオにおける動的カメラポーズ変動下で、MoGDEはどの程度耐障害性を向上させるか？
• RQ4 提案された地面の奥行き推定と特徴融合モジュールは、既存の画像のみのMono3D検出器に効果的に統合可能か？
• RQ5 透視幾何学とポーズ推定を用いることで、実世界のモバイル環境においてより信頼性の高い奥行き事前知識が得られるか？

主な発見

• MoGDEはKITTI 3Dベンチマークで最高の性能を達成し、すべての最先端手法の中で1位を獲得した。
• M3D-RPNに適用した場合、Easy、Moderate、Hardの各カテゴリでAP3Dがそれぞれ+5.32、+5.77、+5.97ポイント向上した。
• Kinematic3Dに拡張した場合、AP3DはEasyで+1.83、Moderateで+2.44、Hardで+2.30向上し、APBEVは+1.97、+3.08、+2.86向上した。
• 大きなカメラポーズばらつき下でも、性能低下が最小限に抑えられ、ベースライン検出器と比較して優れた耐障害性を示した。
• 可視化結果から、トランスフォーマーの注目メカニズムが効果的に地面に接している点に注目しており、奥行きの手がかりとオブジェクト特徴を結びつけていた。
• プラグイン設計により、複数の既存のMono3D検出器において一貫した性能向上が確認され、本手法の柔軟性と一般化能力が裏付けられた。