[論文レビュー] Object Viewpoint Classification Based 3D Bounding Box Estimation for Autonomous Vehicles

Zhou Lingtao, Jiaojiao Fang+1 more|arXiv (Cornell University)|Sep 3, 2019

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、カメラと物体の相対的な幾何的関係に基づいて物体の視点を16の離散的カテゴリに分類し、マルチブランチCNNに視点分類器を統合することで、自律走行車両向けの視点に配慮した3次元バウンディングボックス推定手法を提案する。視点に配慮した幾何的制約を活用することで、特に姿勢推定の精度が向上し、ベースラインの単眼3次元検出器と比較してKITTIデータセット上での精度と効率性が向上している。

ABSTRACT

3D object detection is one of the most important tasks for the perception systems of autonomous vehicles. With the significant success in the field of 2D object detection, several monocular image based 3D object detection algorithms have been proposed based on advanced 2D object detectors and the geometric constraints between the 2D and 3D bounding boxes. In this paper, we propose a novel method for determining the configuration of the 2D-3D geometric constraints which is based on the well-known 2D-3D two stage object detection framework. First, we discrete viewpoints in which the camera shots the object into 16 categories with respect to the observation relationship between camera and objects. Second, we design a viewpoint classifier by integrated a new sub-branch into the existing multi-branches CNN. Then, the configuration of geometric constraint between the 2D and 3D bounding boxes can be determined according to the output of this classifier. Extensive experiments on the KITTI dataset show that, our method not only improves the computational efficiency, but also increases the overall precision of the model, especially to the orientation angle estimation.

研究の動機と目的

• 自律走行車両向けの単眼3次元検出において、2次元-3次元幾何的制約をよりよくモデル化することで、3次元オブジェクト検出の精度を向上させること。
• 既存の単眼3次元検出器における姿勢角度推定の不正確さという課題に対処すること。
• エンドツーエンドの回帰に依存せず、視点設定を明示的にモデル化することで、計算効率を向上させること。
• カメラ-物体幾何に基づく16の離散的クラスに分類された物体の視点によって、3次元バウンディングボックス推定の曖昧さを低減すること。

提案手法

• カメラと物体の相対的な幾何的関係に基づいて、物体の視点を16のカテゴリに離散化すること。
• マルチブランチCNNアーキテクチャに専用の視点分類ブランチを統合し、物体の視点カテゴリを予測すること。
• 予測された視点を用いて、2次元と3次元バウンディングボックス間の正しい幾何的制約を特定すること。
• 視点に配慮した制約を活用して、特に姿勢角度のための3次元ボックス回帰を精緻化すること。
• 検出、視点分類、3次元ボックス回帰の共同監視を用いて、エンドツーエンドでモデルを訓練すること。
• 16の視点カテゴリから導かれる幾何的事前知識を活用し、一般化性能を向上させ、回帰の曖昧さを低減すること。

実験結果

リサーチクエスチョン

• RQ1 視点情報はどのように効果的にモデル化され、単眼3次元検出における3次元バウンディングボックス推定を向上させることができるか？
• RQ2 離散的視点分類は、特に姿勢角度において、3次元ボックス回帰の曖昧さを低減できるか？
• RQ3 視点分類の統合は、実世界のデータセット上での検出精度と推論効率をどの程度向上させるか？
• RQ4 2次元-3次元ボックス対応において、視点に配慮した幾何的制約はエンドツーエンド回帰と比較してどのように異なるか？
• RQ5 統合されたネットワークアーキテクチャは、検出、視点分類、3次元ボックス回帰を同時に最適化できるか？

主な発見

• 提案手法は、ベースラインの単眼検出器と比較して、KITTIデータセット上での3次元検出精度が高く、特に姿勢推定において顕著に向上している。
• 視点分類の統合により、回帰の曖昧さが低減し、より一貫性のある3次元ボックス予測が得られた。
• 離散的視点から導かれる構造的な幾何的制約の活用により、モデルの計算効率が向上した。
• 16クラスの視点離散化は、物体の代表的視覚角度を効果的に捉えており、多様なシーンにわたる一般化性能の向上に寄与している。
• アブレーションスタディの結果、視点分類が姿勢精度を顕著に向上させることを確認し、幾何的制約モデル化におけるその有効性を裏付けた。
• 視点依存の2次元-3次元対応を明示的にモデル化することで、既存の2段階3次元検出フレームワークを上回る性能を達成した。