[論文レビュー] Stereo R-CNN based 3D Object Detection for Autonomous Driving

Peiliang Li, Xiaozhi Chen+1 more|arXiv (Cornell University)|Feb 26, 2019

Advanced Neural Network Applications参考文献 32被引用数 36

ひとこと要約

stereo-RCNNフレームワークはFaster R-CNNを拡張し、ステレオ画像上の物体を共同検出・関連付け、学習支援ジオメトリアプローチと密なフォトメトリックアラインメントを通じて3D境界ボックスを refine し、深さ監督なしでKITTIにおける画像ベースの最先端の3D検出を実現します。

ABSTRACT

We propose a 3D object detection method for autonomous driving by fully exploiting the sparse and dense, semantic and geometry information in stereo imagery. Our method, called Stereo R-CNN, extends Faster R-CNN for stereo inputs to simultaneously detect and associate object in left and right images. We add extra branches after stereo Region Proposal Network (RPN) to predict sparse keypoints, viewpoints, and object dimensions, which are combined with 2D left-right boxes to calculate a coarse 3D object bounding box. We then recover the accurate 3D bounding box by a region-based photometric alignment using left and right RoIs. Our method does not require depth input and 3D position supervision, however, outperforms all existing fully supervised image-based methods. Experiments on the challenging KITTI dataset show that our method outperforms the state-of-the-art stereo-based method by around 30% AP on both 3D detection and 3D localization tasks. Code has been released at https://github.com/HKUST-Aerial-Robotics/Stereo-RCNN.

研究の動機と目的

• 自動運転のためのステレオ画像を用いた3D物体検出を動機づけ、意味情報と幾何情報の両方を活用する。
• 左・右画像間で物体を検出・関連付けるネットワークを開発し、ステレオ対応の提案を行う。
• ステレオの手がかりから粗い3Dボックスを推定し、密な領域ベースのフォトメトリックアラインメントでそれを refine する。
• 深さ監督を必要とせずに、キーポイントと意味情報の手掛かりを利用して3D姿勢と寸法を制約する。

提案手法

• 共有バックボーンと左・右特徴を連結したステレオ入力に拡張したFaster R-CNNを適用する。
• Stereo RPNを用いて左・右のペア提案を生成し、ステレオボックスの6つの回帰項を扱う。
• 左・右のRoI特徴を統合して、クラス、ステレオボックスパラメータ、寸法、視点角を予測する。
• 3D意味論的キーポイント分岐を導入し、4つの下部コーナーキーポイントと2つの境界キーポイントを予測して3D推定を制約する。
• 3Dボックス推定を左/右ボックスと透視キーポイントからの7つの測定値を用いた学習支援ジオメトリ問題として定式化し、ガウス-ニュートン最適化で解く。
• 有効なRoI内で密な領域ベースのフォトメトリックアラインメントを適用し、左-右のフォトメトリック再投影誤差を最小化することで3Dセンター深度をサブピクセル精度まで refine する。

実験結果

リサーチクエスチョン

• RQ1 ステレオ画像は深さ監督を明示的に受けずに正確な3D物体検出を実現できるか。
• RQ2 左-右の関連付けと意味情報キーポイントはディープデテクタにおける3Dボックス推定を改善できるか。
• RQ3 密なフォトメトリックアラインメントはステレオベース検出における3D位置推定精度にどのような影響を与えるか。
• RQ4 提案手法のStereo R-CNNはKITTIにおける3D検出と3D局在の点で既存の画像ベースおよびLiDARベース手法と比較してどうか。
• RQ5 どのアブレーション（キーポイント、アラインメント、拡張）は性能を最も向上させるか。

主な発見

• Stereo R-CNNフレームワークは深さ監督なしでKITTIにおける3D検出と局在で競争力を発揮し、いくつかの画像ベース手法を上回る。
• 左-右RoI特徴のチャネルごとの統合は、ステレオデータに対して単純な平均化よりも性能向上をもたらす。
• 3D意味情報キーポイントの組み込みは、Easy/Moderate/Hard設定を通じて3D検出と局在を大幅に改善する。
• 密な領域ベースのフォトメトリックアラインメントは3Dセンターの深度推定精度を大幅に向上させ、3Dボックスの整合と組み合わせると性能をさらに高める。
• この手法は3DOPステレオベース手法に対して大きな利得をもたらし、KITTIベンチマークでLiDARベースの性能に近づく。ステレオアプローチはフォトメトリックアラインメントから強い深度情報を提供する。
• 推論時間はTitan Xp上で1ペアあたり約0.28秒程度であり、実用的な実現可能性を示す。