[論文レビュー] 3D Pose Estimation for Fine-Grained Object Categories

Yaming Wang, Xiao Tan+5 more|arXiv (Cornell University)|Jun 12, 2018

Robotics and Sensor-Based Localization参考文献 24被引用数 5

ひとこと要約

本論文は、細分化されたオブジェクトカテゴリ（StanfordCars および CompCars）を対象とした大規模な3次元ポーズ推定データセットを紹介しており、詳細な3次元CADモデルと2次元-3次元ポーズアノテーションを備えている。また、合成データを用いて性能を向上させるエンドツーエンドのFaster/Mask R-CNNフレームワークを提案し、3次元位置フィールド（dense 3次元表現）を統合することで、キーポoin監視を必要としない状態で最先端の性能を達成した。

ABSTRACT

Existing object pose estimation datasets are related to generic object types and there is so far no dataset for fine-grained object categories. In this work, we introduce a new large dataset to benchmark pose estimation for fine-grained objects, thanks to the availability of both 2D and 3D fine-grained data recently. Specifically, we augment two popular fine-grained recognition datasets (StanfordCars and CompCars) by finding a fine-grained 3D CAD model for each sub-category and manually annotating each object in images with 3D pose. We show that, with enough training data, a full perspective model with continuous parameters can be estimated using 2D appearance information alone. We achieve this via a framework based on Faster/Mask R-CNN. This goes beyond previous works on category-level pose estimation, which only estimate discrete/continuous viewpoint angles or recover rotation matrices often with the help of key points. Furthermore, with fine-grained 3D models available, we incorporate a dense 3D representation named as location field into the CNN-based pose estimation framework to further improve the performance. The new dataset is available at www.umiacs.umd.edu/~wym/3dpose.html

研究の動機と目的

• 車種やモデルといった詳細なオブジェクトカテゴリ向けに、大規模かつ細分化された3次元ポーズデータセットが不足しているという問題に取り組むこと。
• 2次元／3次元キーポイント監視を一切必要としない状態で、単一のRGB画像から完全なパースペクティブ3次元ポーズ推定を可能にすること。
• エンドツーエンドの深層学習フレームワークに密な3次元表現（3次元位置フィールド）を統合することで、ポーズ推定の精度を向上させること。
• 細分化された3次元CADモデルから生成された合成データを活用することで、データ不足とドメインギャップの問題を克服すること。
• 高品質でカテゴリ固有の3次元モデルとアノテートされたポーズを用いて、細分化された3次元ポーズ推定のベンチマークを確立すること。

提案手法

• 著者らは、StanfordCars および CompCars データセットに細分化された3次元CADモデルを追加し、各画像に対して手動で3次元ポーズパラメータをアノテートした。その結果、309カテゴリにわたり20,000枚を超える画像が得られた。
• Faster/Mask R-CNNを拡張し、段階的な検出とポーズ推定ヘッドを導入することで、オブジェクト検出と3次元ポーズパラメータを同時に回帰する。
• 新しい3次元位置フィールド表現を導入し、各ピクセルをオブジェクト表面の3次元座標にマッピングすることで、密な3次元形状監視を可能にした。
• 位置フィールドは実画像データを用いてエンドツーエンドで回帰され、その回帰結果からクaternionベースの回帰ヘッドを用いてポーズが予測された。
• 3次元CADモデルから生成された合成データを用いて位置フィールドネットワークを事前学習し、ドメインギャップを低減し、一般化性能を向上させた。
• フレームワークは実データで微調整され、データ不足を緩和するため、StanfordCarsからCompCarsへの転移学習が適用された。

実験結果

リサーチクエスチョン

• RQ1 2次元キーポイント監視を一切必要としない状態で、単一のRGB画像からの完全な3次元パースペクティブポーズ推定は可能か？
• RQ2 エンドツーエンドの深層学習フレームワークにおいて、密な3次元表現（3次元位置フィールド）は3次元ポーズ推定の精度向上にどの程度効果的か？
• RQ3 細分化された3次元CADモデルから生成された合成データは、実画像における性能向上とドメインギャップの低減にどの程度寄与するか？
• RQ4 より大規模で詳細なデータセット（StanfordCars）から転移学習を適用することで、より小規模で詳細度の低いデータセット（CompCars）での性能は向上するか？
• RQ5 一貫したモデルは、ポーズ、スケール、視点角度が多様な細分化カテゴリに一般化可能か？

主な発見

• StanfordCars 3D データセットでは、本手法は中央値回転誤差5.68°、中央値ADD誤差0.0834を達成し、ベースライン比で15%の精度向上を示した。
• CompCars 3D データセットでは、StanfordCarsで事前学習したモデルを微調整した場合、中央値回転誤差4.74°、中央値ADD誤差0.0836を達成し、優れた転送性を示した。
• 3次元位置フィールドの統合により、StanfordCarsでは$Acc_{rac{ au}{6}}$が2.2%向上、CompCarsでは4.6%向上し、形状監視の有効性が裏付けられた。
• 位置フィールドを用いて微調整した場合、CompCarsでの$Acc_{ ext{th}=0.1}$は64.01%に達し、ベースライン（32.52%）を大きく上回り、ポーズ変動に対して頑健であることが示された。
• 失敗事例の主な原因はスケール推定誤差、大きなパースペクティブ歪み、および十分なトレーニング例が不足するレアポーズに起因しており、これらの分野での改善の余地があることが示された。
• アブレーションスタディにより、位置フィールドを用いた合成データ事前学習が、特にデータが少ない状況下で一般化性能を顕著に向上させることを確認した。