[論文レビュー] Single-Shot 3D Detection of Vehicles from Monocular RGB Images via Geometry Constrained Keypoints in Real-Time

Nils Gählert, Jun-Jun Wan+4 more|arXiv (Cornell University)|Jun 23, 2020

Advanced Neural Network Applications参考文献 44被引用数 11

ひとこと要約

本稿では、モノクロナルRGB画像からの車両向けに、幾何的制約を課した3次元キーポイントを回帰することで、リアルタイムで1回のスクリーンショットで3次元物体検出を行う3D-GCKを提案する。SSDの軽量拡張部として2次元検出を3次元に持ち上げることで、3D方向アノテーションをトレーニング時に必要とせず、高解像度画像でも20 FPSを超える性能を達成する。

ABSTRACT

In this paper we propose a novel 3D single-shot object detection method for detecting vehicles in monocular RGB images. Our approach lifts 2D detections to 3D space by predicting additional regression and classification parameters and hence keeping the runtime close to pure 2D object detection. The additional parameters are transformed to 3D bounding box keypoints within the network under geometric constraints. Our proposed method features a full 3D description including all three angles of rotation without supervision by any labeled ground truth data for the object's orientation, as it focuses on certain keypoints within the image plane. While our approach can be combined with any modern object detection framework with only little computational overhead, we exemplify the extension of SSD for the prediction of 3D bounding boxes. We test our approach on different datasets for autonomous driving and evaluate it using the challenging KITTI 3D Object Detection as well as the novel nuScenes Object Detection benchmarks. While we achieve competitive results on both benchmarks we outperform current state-of-the-art methods in terms of speed with more than 20 FPS for all tested datasets and image resolutions.

研究の動機と目的

• 限られた深度情報とリアルタイム制約のもとで、モノクロナルRGB画像からの3次元物体検出の課題に対処すること。
• トレーニング時に3次元方向アノテーションを必要とせず、全3次元バウンディングボックス（3つの回転角度を含む）を推定可能にすること。
• SSDのような既存の2次元物体検出フレームワークにシームレスに統合され、計算オーバーヘッドを最小限に抑える手法を開発すること。
• 実世界の自律走行システムへの実装に適した高速推論を達成すること。
• KITTI、nuScenes、A2D2、Synscapesを含む多様な自律走行ベンチマークで競争力ある性能を示すこと。

提案手法

• SSDなどの2次元物体検出バックボーンから回帰および分類パラメータを予測し、3次元バウンディングボックスの特性を推定する。
• 画像平面への投影から導かれる幾何的制約を用いて、予測されたパラメータを3次元キーポイントに変換する。
• 透視投影の性質を活用して、真値の3次元回転ラベルがなくても3次元方向（ロール、ピッチ、ヨー）を推定する。
• 幾何的制約下で3次元キーポイント座標を回帰する微分可能ネットワークヘッドを用い、エンドツーエンドの学習を可能にする。
• 既存の2次元検出器にプラグイン拡張部として3D-GCKヘッドを統合し、純粋な2次元検出に近い推論速度を維持する。
• 各データセット固有の基準に適合するように評価指標を調整することで、複数のベンチマークに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 3次元方向の監視がなくても、高精度かつ高速な推論を実現することができるか？
• RQ2 画像平面における幾何的制約をどれだけ効果的に活用して、真値の3次元回転ラベルなしで全3次元物体の方向（3つの回転角度）を推定できるか？
• RQ3 SSDのような2次元検出器に、計算オーバーヘッドを最小限に抑えて3次元検出ヘッドを統合できるか？
• RQ4 本手法は、KITTI や nuScenes といった多様な実世界の自律走行ベンチマークでどれほど優れた性能を示すか？
• RQ5 本手法は、nuScenes や A2D2 のような高解像度入力に対しても、ハードウェア特化の最適化なしでリアルタイム性能（>20 FPS）を維持できるか？

主な発見

• KITTI 3D Object Detectionベンチマークの「中程度」カテゴリにおいて、3D平均適合度（AP）は2.52%、AOSスコアは78.44%を達成した。
• nuScenesベンチマークでは、車両クラスで11.4%のAPを達成し、多様なデータセットへの強い一般化性能を示した。
• KITTIの画像ではV100 GPUで40 FPS以上（1回の推論時間24 ms）で実行可能であり、より高解像度のnuScenesおよびA2D2入力ではそれぞれ43 msおよび46 msの推論時間であった。
• nuScenes（1600×900）およびA2D2（1920×1208）のような高解像度画像に対しても、ハードウェア特化の最適化なしで20 FPS以上を維持した。
• 報告されたモノクロナル3次元検出フレームワークの中で最も高速でありながら、競争力ある検出性能を達成し、優れた速度-精度トレードオフを実現した。
• KITTI、nuScenes、A2D2、Synscapesにおける定性的な結果から、正しい方向と空間的整合性を持つ正確な3次元バウンディングボックス予測が得られた。