[論文レビュー] GS3D: An Efficient 3D Object Detection Framework for Autonomous Driving

Buyu Li, Wanli Ouyang+3 more|arXiv (Cornell University)|Mar 26, 2019

Advanced Neural Network Applications参考文献 27被引用数 33

ひとこと要約

GS3Dは単一のRGB画像から3D物体を検出する。まず信頼性の高い2D検出を利用して粗い3D直方体（ガイダンス）を生成し、次に表面ベースの特徴で洗練し、品質を意識した分類スタイルの損失で正確な3Dボックスを予測する。

ABSTRACT

We present an efficient 3D object detection framework based on a single RGB image in the scenario of autonomous driving. Our efforts are put on extracting the underlying 3D information in a 2D image and determining the accurate 3D bounding box of the object without point cloud or stereo data. Leveraging the off-the-shelf 2D object detector, we propose an artful approach to efficiently obtain a coarse cuboid for each predicted 2D box. The coarse cuboid has enough accuracy to guide us to determine the 3D box of the object by refinement. In contrast to previous state-of-the-art methods that only use the features extracted from the 2D bounding box for box refinement, we explore the 3D structure information of the object by employing the visual features of visible surfaces. The new features from surfaces are utilized to eliminate the problem of representation ambiguity brought by only using a 2D bounding box. Moreover, we investigate different methods of 3D box refinement and discover that a classification formulation with quality aware loss has much better performance than regression. Evaluated on the KITTI benchmark, our approach outperforms current state-of-the-art methods for single RGB image based 3D object detection.

研究の動機と目的

• ポイントクラウドやステレオデータを用いず、単眼RGB入力だけで自動運転のための効率的な3D物体検出を促進する。
• まず2D検出とシーン事前情報から粗い3Dガイダンスを生成し、それを可視表面特徴を用いて洗練させる、2段階のフレームワークを提案する。
• 投影された表面からの3D構造手掛かりを活用して表現の曖昧さに対処する。
• 品質意識の損失を伴う分類ベースの洗練によって、回帰ベースの手法より3Dボックスの精度が向上することを示す。

提案手法

• Faster R-CNN に基づく2D検出器を用い、方位（観測角度）ヘッドで2Dボックスとビュー方向（alpha）を取得する。
• 2Dボックス、カメラ内部パラメータ、およびクラス固有のサイズ統計から基本的な3D直方体ガイダンス（w_g, h_g, l_g, x_g, y_g, z_g, theta_g）を生成する。
• ガイダンスを画像平面に投影し、透視変換を用いて2Dボックスと可視表面領域の特徴を抽出して3D構造を捉える。
• 表面特徴と2Dボックス特徴を融合し、洗練用に第3のネットワーク（3Dサブネット）へ入力する。
• 直接回帰ではなく、残差区間に対する分類として3Dボックスの洗練を定式化し、予測品質を反映する品質意識的損失を用いる。
• 表面ベースの特徴、シフトベースの分類（各残差シフト特徴）、品質意識的損失を探求し、3D位置推定精度を最大化する。

実験結果

リサーチクエスチョン

• RQ1 深度センサーなしで、単眼RGB画像が自動運転のための正確な3D物体検出を支援できるだろうか？
• RQ2 可視表面の3D構造特徴を組み込むと、2Dボックスのみの手法より3Dボックスの洗練が改善されるか？
• RQ3 品質意識損失を用いた分類ベースの洗練は、3Dボックスの洗練において回帰より効果的か？
• RQ4 RGBデータと標準的な事前情報のみを用いた場合、KITTIで最先端の結果にどこまで近づけるか？

主な発見

• 本フレームワークは、ステレオデータやCADデータを使用せず、KITTIの3D AP 指標で従来の単眼RGBベース手法をいくつか上回る。
• 可視表面からの特徴を取り入れることで、2Dボックス特徴のみを使用する場合と比べて表現の曖昧さを低減する。
• 品質意識損失を用いた分類形式の洗練は、直接回帰より3D位置推定が改善される。
• 表面-awareの洗練とシフトベース/品質意識戦略は、3Dボックスの精度を大幅に向上させる。