[論文レビュー] 3D Object Class Detection in the Wild

Bojan Pepik, Michael Stark+3 more|arXiv (Cornell University)|Mar 17, 2015

Advanced Neural Network Applications参考文献 8被引用数 5

ひとこと要約

本論文は、連続的視点推定、2次元キーポoin検出、2次元-3次元キーポイント整合を介した剛体3次元リフトを組み合わせた、4段階の3次元オブジェクトクラス検出フレームワークを提案する。このフレームワークは、RCNNベースの2次元オブジェクト検出を拡張し、Pascal3D+で最先端の性能を達成した。平均精度（AP）は21.2%向上し、AAVPは12.5%向上した。同時に、単一の画像から正確な3次元形状推定と競争力のあるセグメンテーションマスクを生成した。

ABSTRACT

Object class detection has been a synonym for 2D bounding box localization for the longest time, fueled by the success of powerful statistical learning techniques, combined with robust image representations. Only recently, there has been a growing interest in revisiting the promise of computer vision from the early days: to precisely delineate the contents of a visual scene, object by object, in 3D. In this paper, we draw from recent advances in object detection and 2D-3D object lifting in order to design an object class detector that is particularly tailored towards 3D object class detection. Our 3D object class detection method consists of several stages gradually enriching the object detection output with object viewpoint, keypoints and 3D shape estimates. Following careful design, in each stage it constantly improves the performance and achieves state-ofthe-art performance in simultaneous 2D bounding box and viewpoint estimation on the challenging Pascal3D+ dataset.

研究の動機と目的

• 現実世界の制約のない画像（「野生の状態」）において、2次元バウンディングボックスを超えた正確な3次元オブジェクトクラス検出を可能にすること。
• 2次元検出と3次元リフトを統合することで、マルチビュー検出と詳細な3次元形状アライメントのギャップを埋めること。
• ポーズ、形状、キーポイントなどの豊富な3次元幾何情報の追加と同時に、2次元検出精度を維持または向上させること。
• 3次元情報の豊かさを検出に組み込むことで、2次元局所化性能が低下しないことを検証すること。

提案手法

• 本手法は、画像内のオブジェクトクラスを局所化する初期段階として、RCNNベースの2次元オブジェクト検出器を用いる。
• 連続的視点推定ヘッドを適用し、離散的な角度ビン分類よりも優れた性能を発揮する3次元空間におけるオブジェクトの向きを予測する。
• 2次元キーポイント検出を実施し、画像上の点と3次元CADモデルのキーポイントとの2次元-3次元対応関係を確立する。
• 剛体3次元リフト手順により、予測された2次元-3次元キーポイント対応関係と推定された視点を用いて、3次元CADプロトタイプを画像にアライメントする。
• 2次元検出、視点推定、キーポイント局所化を同時に最適化するため、構造化損失を用いてパイプラインを訓練する。
• 最終的な3次元オブジェクト仮説は、投影によってセグメンテーションマスクを生成し、3次元形状予測の正確性を検証する。

実験結果

リサーチクエスチョン

• RQ1 現実世界の画像において、2次元オブジェクト検出と3次元形状／ポーズ推定の両方で最先端の性能を達成できる3次元オブジェクトクラス検出器を設計できるか？
• RQ2 キーポイント整合と視点推定による3次元幾何的推論を追加することで、2次元検出性能が低下するか？
• RQ3 少量の3次元CADプロトタイプを用いて、ごみや遮蔽がある複雑なシーンにおける多様なオブジェクトクラスに対して、正確な3次元オブジェクト仮説を効果的に生成できるか？
• RQ4 2次元-3次元キーポイント整合を介した3次元リフトは、直接的な3次元リフトやキーポイント回帰と比較して、視点推定とセグメンテーション精度の両面で優れているか？

主な発見

• 提案手法は、Pascal3D+における2次元オブジェクト検出で、前回の最先端手法比で平均精度（AP）が21.2%向上した。
• 前回の最良手法と比較して、平均角視点性能（AAVP）は12.5%向上し、mAAVPは35.5%を達成した。
• 視点誘導型剛体アライメント（RCNN-Ridge-L）を用いた3次元リフト手法は、直接リフト（RCNN-L）およびキーポイント回帰ベースラインと比較して、AAVPおよびセグメンテーション精度の両面で優れた性能を示した。
• Pascal3D+におけるセグメンテーション精度41.4%は、ネイティブなセグメンテーション手法と競争力があり、3次元形状予測の質の高さを裏付けた。
• 3次元情報を追加しても、ベースとなるRCNN検出器と同等の2次元検出APを維持したため、情報の豊かさの追加による性能低下がないことが証明された。
• Pascal-contextデータセットでは、31.5%のセグメンテーション精度を達成し、ベースライン手法を上回り、セグメンテーションのための訓練を受けていないにもかかわらず、最先端のセグメンテーションモデルに近い性能を示した。