[論文レビュー] Monocular 3D Object Detection Leveraging Accurate Proposals and Shape Reconstruction

Jason S. Ku, Alex Pon+1 more|arXiv (Cornell University)|Apr 2, 2019

Robotics and Sensor-Based Localization参考文献 42被引用数 21

ひとこと要約

本論文では、ピンホールカメラモデルの幾何学的制約と、物体座標系における学習可能な点群を用いて、2次元検出から正確な3次元候補を生成し、3次元局所化と形状再構築を共同で最適化する単眼3次元物体検出手法MonoPSRを提案する。2次元-3次元の一貫性を強制するための新規な投影整合損失を導入することで、KITTIベンチマークにおいて最先端の性能を達成し、歩行者および自転車乗りのクラスにおいても新たなSOTA結果を記録。従来の単眼手法比で68%の向上を達成した。

ABSTRACT

We present MonoPSR, a monocular 3D object detection method that leverages proposals and shape reconstruction. First, using the fundamental relations of a pinhole camera model, detections from a mature 2D object detector are used to generate a 3D proposal per object in a scene. The 3D location of these proposals prove to be quite accurate, which greatly reduces the difficulty of regressing the final 3D bounding box detection. Simultaneously, a point cloud is predicted in an object centered coordinate system to learn local scale and shape information. However, the key challenge is how to exploit shape information to guide 3D localization. As such, we devise aggregate losses, including a novel projection alignment loss, to jointly optimize these tasks in the neural network to improve 3D localization accuracy. We validate our method on the KITTI benchmark where we set new state-of-the-art results among published monocular methods, including the harder pedestrian and cyclist classes, while maintaining efficient run-time.

研究の動機と目的

• 2次元物体検出器からの強力な幾何的事前知識を活用して、単眼3次元物体検出の不十分な制約を緩和すること。
• ピンホールカメラモデルの制約と2次元バウンディングボックスに基づく高品質な3次元候補により、3次元探索空間を縮小し、局所化精度を向上させること。
• 剛体CADモデルに依存するのではなく、予測されたインスタンス点群から得られる形状およびスケール情報を利用し、局所化を向上させること。
• 2次元画像観測と3次元予測の整合性を保証する新規な投影整合損失を用いて、3次元検出と形状再構築を共同で最適化すること。
• KITTI 3次元検出ベンチマークにおいて、これまで報告のなかった歩行者および自転車カテゴリの分類についても最先端の性能を達成すること。

提案手法

• 本手法は、ピンホールカメラモデルにおける物体の高さと深度のパースペクティブ関係を用いて、2次元バウンディングボックスの中心を再投影することで、3次元重心を推定し、3次元候補を生成する。
• Faster R-CNNにインspiredされた2段階の候補回帰フレームワークを採用し、アンカーボックスから出発して、最終的なアモーダルかつオントロープド3次元バウンディングボックスを精緻化する。
• インスタンス再構築モジュールが、標準化された物体座標系における点群を予測し、局所的な形状とスケール情報をエンコードする。
• 予測された点群は、推定された重心を用いてカメラ座標系に変換され、局所化と形状の共同最適化が可能になる。
• 再構築された3次元点群を画像空間に投影し、2次元検出ボックスと整合性を保つようにするための新規な投影整合損失を導入する。
• ネットワークは、投影整合損失を含む集約損失を用いてエンドツーエンドに訓練され、候補回帰、点群推定、2次元-3次元の一貫性の共同最適化が行われる。

Figure 1: Pipeline for 3D Object Detection and Instance Point Cloud Estimation: Our network takes an image with 2D bounding boxes and regresses instance-centric 3D proposals to produce 3D bounding boxes. Simultaneously, instance point clouds are estimated to recover local shape and scale, and to enf

実験結果

リサーチクエスチョン

• RQ1 ピンホールカメラモデルの幾何学的制約を用いて2次元検出から生成された3次元候補は、3次元局所化の探索空間を顕著に縮小し、精度を向上させることができるか？
• RQ2 予測された点群による形状再構築は、単眼設定における3次元物体局所化を効果的に向上させることができるか？
• RQ3 新規な投影整合損失を用いた共同最適化フレームワークは、2次元-3次元の一貫性を強化し、検出性能を向上させることができるか？
• RQ4 提案手法は、歩行者や自転車などの困難なクラスを含め、KITTIベンチマークで最先端の結果を達成するか？
• RQ5 制限的な仮定や限定的な事前知識に依存する従来の単眼手法よりも、高い効率を維持しながらも性能を上回ることができるか？

主な発見

• MonoPSRは、KITTIベンチマークにおいて、従来の単眼SOTA手法比で3次元AP（0.5 IoU）で68%の向上を達成した。
• 本手法は、KITTIバリデーションセットにおける歩行者および自転車検出で、それぞれ31.89%および23.77%の3次元AP（0.25 IoU）を達成し、新規SOTAを樹立した。
• 3次元候補の使用により、ハードなカークラスでは深さ推定誤差が平均1.22m（標準偏差1.84m）にまで低下し、直接的な深さ推定を上回った。
• 投影整合損失を用いた共同最適化により、形状再構築損失を含まないベースラインと比較して、3次元AP（0.5 IoU）が7.2%向上した。
• 本手法は、効率的な推論時間を維持しており、Titan X GPU上での総実行時間は120msであり、2次元検出器の80msを含む。
• 定性的な結果から、カーおよび自転車の3次元ボックスの投影が2次元検出とよく一致している一方で、歩行者の投影の大きなばらつきに対しても柔軟に対応できていることが示された。

Figure 2: Network Architecture: The network produces a feature map using an image crop of an object and global context features as inputs. From this feature map three tasks are performed a) the dimensions and orientation are predicted to estimate a proposal b) offsets for the proposals are regressed