[論文レビュー] A Mixed Classification-Regression Framework for 3D Pose Estimation from 2D Images

Siddharth Mahendran, Haider Ali+1 more|arXiv (Cornell University)|May 8, 2018

Anatomy and Medical Technology被引用数 24

ひとこと要約

本論文は、1枚の2D画像から3Dポーズ推定を行うための混合分類・回帰フレームワークを提案する。分類ネットワークにより離散的なポーズのビンを予測し、回帰ネットワークにより各ビン内でのポーズを精緻化する。本手法はPascal3D+で最先端の性能を達成し、中央値誤差を8.5°まで低減し、π/6の閾値における精度を85.88%まで向上させた。

ABSTRACT

3D pose estimation from a single 2D image is an important and challenging task in computer vision with applications in autonomous driving, robot manipulation and augmented reality. Since 3D pose is a continuous quantity, a natural formulation for this task is to solve a pose regression problem. However, since pose regression methods return a single estimate of the pose, they have difficulties handling multimodal pose distributions (e.g. in the case of symmetric objects). An alternative formulation, which can capture multimodal pose distributions, is to discretize the pose space into bins and solve a pose classification problem. However, pose classification methods can give large pose estimation errors depending on the coarseness of the discretization. In this paper, we propose a mixed classification-regression framework that uses a classification network to produce a discrete multimodal pose estimate and a regression network to produce a continuous refinement of the discrete estimate. The proposed framework can accommodate different architectures and loss functions, leading to multiple classification-regression models, some of which achieve state-of-the-art performance on the challenging Pascal3D+ dataset.

研究の動機と目的

• 対称的な物体（ボートやダイニングテーブルなど）において顕著なマルチモーダルなポーズ分布の課題に対処すること。
• 純粋な回帰（単一モードの出力）と純粋な分類（量子化誤差）の限界を克服すること。
• 離散的ポーズ分類と連続的精緻化の回帰を統合した統一フレームワークを構築し、精度を向上させること。
• 3Dオブジェクトポーズ推定の挑戦的で標準的なベンチマークデータセットPascal3D+において、最先端の性能を達成すること。

提案手法

• K-平均法クラスタリングを用いて3D回転空間をポーズビンに離散化し、離散的なポーズカテゴリを生成する。
• 与えられた2D画像に対して最も可能性の高いポーズビン（キーポーズ）を予測する分類ネットワークを訓練する。
• 真の3Dポーズとキーポーズとの間の連続的偏差（デルタ）を予測する別個の回帰ネットワークを訓練する。
• 予測されたキーポーズとデルタを組み合わせて、最終的な連続的3Dポーズ推定値を生成する。
• 分類損失と回帰損失のバランスを取るための重み付き損失関数を用い、ハイパーパrameter α がトレードオフを制御する。
• 分類および回帰ヘッドのための柔軟なアーキテクチャ選択と損失関数の選択を可能にすることで、複数のモデルバージョンをサポートする。

実験結果

リサーチクエスチョン

• RQ1 純粋な回帰や分類よりも、ハイブリッド分類・回帰フレームワークがマルチモーダルなポーズ分布をより効果的に扱えるか？
• RQ2 離散的ポーズ分類と連続的回帰の統合が、対称的で複雑なオブジェクトの推定精度をどのように向上させるか？
• RQ3 中央値誤差とπ/6の閾値における精度を最小化する観点から、分類損失と回帰損失の最適なトレードオフは何か？
• RQ4 Pascal3D+データセットにおいて、対称性や外観が異なる多様なオブジェクトカテゴリにわたって、本フレームワークはどのように性能を発揮するか？

主な発見

• 提案フレームワークはPascal3D+データセットで中央値誤差8.5°を達成し、先行手法と比べ顕著な改善を示した。
• α=10（M_G+）のモデルがπ/6の閾値における精度が85.88%に達し、他のバリエーションや最先端のベースラインを上回った。
• アブレーションスタディにより、α=10が分類と回帰の間で最良のバランスを実現しており、すべてのオブジェクトカテゴリで誤差が低減された。
• 本フレームワークはオブジェクトカテゴリにわたって良好に一般化しており、ボートやダイニングテーブルのような対称的オブジェクトにおいて顕著な改善が得られた。
• 失敗事例の可視化から、誤差は主にぼやけた画像、珍しいオブジェクト形状、または学習分布から大きく離れたポーズで生じることがわかった。
• 共有ビンおよびデルタネットワークを備えたモデル（M_G+）は、カテゴリごとのビンネットワークを備えたモデルよりも優れた性能を示しており、効果的な一般化が可能であることが示された。