[論文レビュー] SMOKE: Single-Stage Monocular 3D Object Detection via Keypoint Estimation

Zechen Liu, Zizhang Wu+1 more|arXiv (Cornell University)|Feb 24, 2020

Advanced Neural Network Applications参考文献 31被引用数 27

ひとこと要約

SMOKEは、2次元領域提案を回避し、投影された3次元キーポイントと3次元回帰ヘッドを用いて直接3次元バウンディングボックスを回帰することで、1段階のモノクローラル3次元オブジェクト検出手法を提案する。3次元ボックス回帰のためのマルチステップ分離戦略を導入し、追加データや複雑な後処理を用いずに、KITTIで最先端の性能を達成。収束性、正確性、効率性の向上を実現。従来のモノクローラル手法をすべて上回る性能を発揮。

ABSTRACT

Estimating 3D orientation and translation of objects is essential for infrastructure-less autonomous navigation and driving. In case of monocular vision, successful methods have been mainly based on two ingredients: (i) a network generating 2D region proposals, (ii) a R-CNN structure predicting 3D object pose by utilizing the acquired regions of interest. We argue that the 2D detection network is redundant and introduces non-negligible noise for 3D detection. Hence, we propose a novel 3D object detection method, named SMOKE, in this paper that predicts a 3D bounding box for each detected object by combining a single keypoint estimate with regressed 3D variables. As a second contribution, we propose a multi-step disentangling approach for constructing the 3D bounding box, which significantly improves both training convergence and detection accuracy. In contrast to previous 3D detection techniques, our method does not require complicated pre/post-processing, extra data, and a refinement stage. Despite of its structural simplicity, our proposed SMOKE network outperforms all existing monocular 3D detection methods on the KITTI dataset, giving the best state-of-the-art result on both 3D object detection and Bird's eye view evaluation. The code will be made publicly available.

研究の動機と目的

• モノクローラル3次元検出において、不要な2次元領域提案ネットワークを排除し、ノイズを低減し、3次元幾何学的学習を向上させる。
• 1枚の画像から直接3次元バウンディングボックスを回帰できる、より単純でエンドツーエンドで学習可能な3次元検出フレームワークを構築する。
• 3次元回帰パラメータのための新しいマルチステップ分離アプローチにより、学習収束性と検出正確性を向上させる。
• 合成データや複雑な後処理、マルチステージの最適化に依存せずに、KITTIで最先端の性能を達成する。

提案手法

• ネットワークは、1枚のRGB画像から1:4にダウンサンプリングされた解像度の特徴マップを抽出するため、DLA-34バックボーンを用いる。
• 2つの並列ブランチを接続：1つは画像面上の3次元中心点（投影キーポイント）の分類用、もう1つは3次元ボックスの回帰（サイズ、方向、深度）用。
• 統一された損失関数を用いて、投影キーポイントと回帰された3次元パラメータを組み合わせ、3次元バウンディングボックスを再構築する。
• エンコーディング段階と損失計算段階の両方で、各3次元パラメータ（中心、サイズ、方向、深度）の寄与を分離するマルチステップ分離戦略を採用し、学習の安定性と正確性を向上させる。
• 四元数ではなくベクトル表現を用いることで、実験的に性能が向上する。
• ネットワーク全体を1段階でエンドツーエンドに学習し、R-CNN風の2段階パイプラインとその関連するノイズを回避する。

実験結果

リサーチクエスチョン

• RQ1 2次元領域提案を排除しても、モノクローラル3次元検出の性能に悪影響を及げることなく、性能を維持できるか？
• RQ2 1段階フレームワークにおいて、3次元回帰をより安定的かつ正確にできるか？
• RQ3 3次元パラメータのための分離戦略が、収束性と検出正確性を向上させるか？
• RQ4 単純でエンドツーエンドのネットワークが、複雑なマルチステージまたはデータ拡張手法を用いる手法を上回れるか？
• RQ5 モノクローラル3次元検出において、方向角のベクトル表現が四元数表現を上回る性能を発揮するか？

主な発見

• SMOKEはKITTI 3次元オブジェクト検出ベンチマークで最高の最先端性能を達成し、3次元検出評価におけるハードセットで14.76%の平均精度（AP）を達成。
• 鳥眼視点（BEV）評価では19.99%のAPを達成し、提出時時点ですべての従来のモノクローラル手法を上回った。
• グループ正規化（GN）はバッチ正規化（BN）を上回り、1エポックあたりの学習時間を60%短縮し、すべての難易度レベルで性能向上を実現。
• L1損失関数はSmooth L1よりも優れた結果を示し、分離回帰損失を導入することで、難易度レベル全体で3.5–4.5%のAP向上を達成。
• 方向角のベクトル表現は四元数表現を上回り、ハードセットで1.44%のAP向上を達成。
• 定性的な結果では、未学習のテスト画像に対しても正確な深度推定と頑健な3次元ロケーションが実現されており、正しい前面方向とBEVの一貫性が確認された。