[論文レビュー] MonoGRNet: A Geometric Reasoning Network for Monocular 3D Object Localization

Zengyi Qin, Jinglu Wang+1 more|arXiv (Cornell University)|Nov 26, 2018

Robotics and Sensor-Based Localization参考文献 26被引用数 29

ひとこと要約

MonoGRNetは、2次元検出、インスタンスレベルの深度推定（IDE）、3次元中心位置の局所化、および局所コーナー回帰という段階的な幾何的推論手順に分離することで、単眼3次元オブジェクト検出を統合的かつエンドツーエンドの深層学習フレームワークとして提案する。深度推定をピクセル単位ではなく、スパースな監視のもとで3次元バウンディングボックス中心の深度を直接予測することで、KITTIベンチマークで最先端の性能を達成し、1枚あたりの推論時間が0.06秒未塔を達成した。

ABSTRACT

Detecting and localizing objects in the real 3D space, which plays a crucial role in scene understanding, is particularly challenging given only a single RGB image due to the geometric information loss during imagery projection. We propose MonoGRNet for the amodal 3D object detection from a monocular RGB image via geometric reasoning in both the observed 2D projection and the unobserved depth dimension. MonoGRNet is a single, unified network composed of four task-specific subnetworks, responsible for 2D object detection, instance depth estimation (IDE), 3D localization and local corner regression. Unlike the pixel-level depth estimation that needs per-pixel annotations, we propose a novel IDE method that directly predicts the depth of the targeting 3D bounding box's center using sparse supervision. The 3D localization is further achieved by estimating the position in the horizontal and vertical dimensions. Finally, MonoGRNet is jointly learned by optimizing the locations and poses of the 3D bounding boxes in the global context. We demonstrate that MonoGRNet achieves state-of-the-art performance on challenging datasets.

研究の動機と目的

• 2次元投影によって消失する深度情報の欠落という、単一のRGB画像からの3次元オブジェクト局所化の課題に対処すること。
• 通常、小さな、隠蔽されたり切断されたりしたオブジェクトを無視しがちなピクセル単位の深度推定の限界を克服すること。
• 2次元バウンディングボックス中心と3次元中心の2次元投影を区別することで、3次元局所化の精度を向上させること。
• 幾何的コンponentsの共同最適化により、単眼RGB入力のみを用いて効率的かつ正確な3次元バウンディングボックス予測を実現すること。

提案手法

• MonoGRNetは、2次元検出、インスタンスレベルの深度推定（IDE）、3次元局所化、および局所コーナー回帰の4つのタスク固有のサブネットワークを持つ統合ネットワークである。
• IDEモジュールは、深層特徴における広い受容 field と、高解像度の初期特徴の融合を用い、ピクセル単位のアノテーションを必要とせずに、3次元バウンディングボックス中心の深度を予測する。
• 3次元中心位置は、別々に予測された3次元中心の2次元投影とIDEの出力を組み合わせることで推定され、3次元空間における幾何的推論が可能になる。
• 局所コーナー回帰は、回転したオブジェクトに合わせた座標フレームで実行され、3次元回転推定のあいまいさを低減する。
• ネットワークは、グローバルな文脈における3次元バウンディングボックスの乖離を最小化するための共同幾何的損失関数を用いてエンドツーエンドで学習される。
• コーナー回帰の前に座標変換ステップを実施することで、局所フレームをオブジェクトの方向に一致させ、ポーズ推定の精度が向上する。

実験結果

リサーチクエスチョン

• RQ1 スパースな深度監視を避けることで、一貫したネットワークが単一のRGB画像からの優れた3次元オブジェクト局所化性能を達成できるか？
• RQ2 3次元検出精度と切断・隠蔽に対するロバストネスの観点から、インスタンスレベルの深度推定はピクセル単位の深度推定よりも優れているか？
• RQ3 2次元バウンディングボックス中心と3次元中心の2次元投影を区別することで、3次元局所化の精度が向上するか？
• RQ4 オブジェクトに合わせた座標フレームで局所コーナー回帰を実行することで、3次元バウンディングボックス推定における回転のあいまいさを低減できるか？
• RQ5 2次元および3次元空間における幾何的推論の影響は、単眼3次元検出における推論速度と精度にどのような影響を与えるか？

主な発見

• MonoGRNetは、単眼3次元オブジェクト検出においてKITTIベンチマークで最先端の性能を達成し、先行研究を上回る3次元局所化精度を示した。
• 高さ、幅、長さ、方位の平均誤差はそれぞれ0.084m、0.084m、0.412m、0.251ラジアンであり、強力な3次元バウンディングボックス回帰能力を示した。
• 推論時間は1枚あたり0.06秒未塔であり、現在利用可能な中で最も高速な単眼3次元検出器の1つである。
• アブレーションスタディにより、2次元バウンディングボックス中心の代わりに3次元中心の2次元投影を使用することで、水平方向および垂直方向の局所化誤差がそれぞれ0.08mおよび0.60m低下した。
• オブジェクトに合わせた局所コーナー回帰を用いることで、方位誤差は0.442ラジアンから0.251ラジアンに低下し、回転のあいまいさ低減の有効性が裏付けられた。
• モデルは切断や隠蔽されたオブジェクトに対しても良好に一般化でき、画像フレーム外に部分的に存在する車両に対しても正しく局所化できた。