[論文レビュー] 3D Object Proposals using Stereo Imagery for Accurate Object Class Detection

Xiaozhi Chen, Kaustav Kundu+4 more|arXiv (Cornell University)|Aug 27, 2016

Advanced Neural Network Applications参考文献 35被引用数 48

ひとこと要約

本論文は、自動運転における3次元物体検出の性能を向上させるために、ステレオ画像を用いた3次元物体候補生成手法を提案する。深度情報に基づく特徴量、物体サイズの事前知識、地面平面制約を組み合わせたエネルギー関数を最小化することで、高再現率の3次元候補を生成し、それを畳み込みニューラルネットワーク（CNN）に供給することで、KITTIベンチマークで最先端の性能を達成した。従来のRGBおよびRGB-D手法と比較して、再現率が最大25%向上し、LIDARデータと組み合わせることで、3次元物体検出精度が最高水準に達した。

ABSTRACT

The goal of this paper is to perform 3D object detection in the context of autonomous driving. Our method first aims at generating a set of high-quality 3D object proposals by exploiting stereo imagery. We formulate the problem as minimizing an energy function that encodes object size priors, placement of objects on the ground plane as well as several depth informed features that reason about free space, point cloud densities and distance to the ground. We then exploit a CNN on top of these proposals to perform object detection. In particular, we employ a convolutional neural net (CNN) that exploits context and depth information to jointly regress to 3D bounding box coordinates and object pose. Our experiments show significant performance gains over existing RGB and RGB-D object proposal methods on the challenging KITTI benchmark. When combined with the CNN, our approach outperforms all existing results in object detection and orientation estimation tasks for all three KITTI object classes. Furthermore, we experiment also with the setting where LIDAR information is available, and show that using both LIDAR and stereo leads to the best result.

研究の動機と目的

• 自動運転における正確な3次元物体検出に不可欠なKITTIベンチマーク上での従来の2次元および3次元物体候補手法の低再現率問題を解決すること。
• 深度情報、地面平面の文脈、物体の事前知識を統合した高品質な3次元バウンディングボックス候補を生成するために、ステレオ画像を活用して3次元物体検出性能を向上させること。
• 外観、深度、文脈的特徴を統合して、3次元バウンディングボックス座標と物体の姿勢を同時に回帰する深層学習ベースの検出ネットワークを開発すること。
• ステレオとLIDARデータを融合させることで、特に小形、隠蔽、遠方の物体に対して3次元検出精度を向上させる有効性を評価すること。
• 深度情報に基づく特徴量と構造的学習が、従来のRGBまたはRGB-D手法を上回る候補品質と検出性能を実現することを示すこと。

提案手法

• 本手法は、物体サイズの事前知識、地面平面への配置、深度情報に基づく特徴量（点群密度、空き領域、地面からの距離など）を組み合わせたエネルギー関数の最小化として3次元物体候補の生成を定式化する。
• 3次元インテグラル画像を用いて、すべての候補となる3次元ボックスに対して定数時間で特徴量を計算し、効率的な推論を実現する。
• 構造的SVMを用いてエネルギー関数の各成分に対するクラス固有の重みを学習し、候補品質を最適化する。
• 2ストリームの3次元検出CNNを訓練し、外観（RGB）と深度（HHA）の特徴量を用いて、3次元バウンディングボックス座標と物体の姿勢を同時に回帰する。
• 文脈的特徴表現を向上させるための文脈ブランチをネットワークに組み込み、特に困難な物体クラスの検出精度を向上させる。
• 本手法は、LIDARが疎で高精度な深度を提供するハイブリッドステレオ-LIDAR融合に拡張され、特に困難なケースにおいて優れた性能を発揮する。

実験結果

リサーチクエスチョン

• RQ1 従来のRGBおよびRGB-D手法と比較して、ステレオベースの3次元物体候補がKITTIベンチマークで顕著に再現率を向上させることができるか？
• RQ2 点群密度、空き領域、地面平面への近接度といった深度情報に基づく特徴量を組み込むことで、3次元候補の品質にどのような影響を与えるか？
• RQ3 3次元バウンディングボックスと物体の姿勢を同時に回帰するCNNが、分離された検出と回帰パイプラインに比べてどの程度優れた性能を示すか？
• RQ4 ステレオとLIDARデータを融合させることで、特に隠蔽または遠方の物体に対して3次元検出精度がどの程度向上するか？
• RQ5 地面平面推定の精度が全体の検出性能に与える寄与度は何か？また、ステレオとLIDARのモダリティ間でその差は何か？

主な発見

• 提案手法の3次元物体候補生成法は、KITTIベンチマークで2,000個の候補を用いた場合、最先端のRGB-D手法MCG-Dと比較して25%高い再現率を達成した。
• 3次元候補と2ストリームCNNを統合した完全な3次元検出パイプラインは、すべての3つの物体クラス（Car, Cyclist, Pedestrian）において、KITTIベンチマークで公表済みのすべての結果を上回った。
• ステレオデータを用いた場合、2ストリームRGB-HHA CNNモデルはRGB単一のモデルに比べて3次元検出性能を約10%向上させた。ハイブリッドステレオ-LIDARデータを用いる場合も5%の向上を達成した。
• オラクルによる地面平面推定を用いることで、LIDARベースのアプローチは2D APで9%、3D APで8%向上した。これは、より良い地面平面推定が性能向上に寄与する可能性を示している。
• ハイブリッドステレオ-LIDARアプローチは、ModerateおよびHard設定で最高の3次元検出精度を達成し、密度の高いステレオ深度と高精度なLIDAR深度の相補的な利点を示した。
• 検出ネットワークの文脈ブランチは、Carの検出において2D APとAOSを向上させたが、PedestrianおよびCyclistに対しては、学習データが限られているため一貫性がやや低かった。