[論文レビュー] Multi-view Human Pose and Shape Estimation Using Learnable Volumetric Aggregation

Soyong Shin, Eni Halilaj|arXiv (Cornell University)|Nov 26, 2020

Human Pose and Action Recognition参考文献 35被引用数 13

ひとこと要約

本稿では、パラメトリックボディモデル（SMPL）を用いたマルチビュー3D人体ポーズおよびボディシェイプ推定のための学習可能なボリュームアグリゲーション手法を提案する。この手法により、キャリブレーション済みRGBカメラからの正確でリアルタイムな再構成が可能となる。2次元特徴を3次元空間にバックプロジェクションし、3次元回帰ネットワークを用いてSMPLパラメータを回帰することで、ボクセルベースの代替手法よりも計算コストが低く、最先端の精度を達成する。

ABSTRACT

Human pose and shape estimation from RGB images is a highly sought after alternative to marker-based motion capture, which is laborious, requires expensive equipment, and constrains capture to laboratory environments. Monocular vision-based algorithms, however, still suffer from rotational ambiguities and are not ready for translation in healthcare applications, where high accuracy is paramount. While fusion of data from multiple viewpoints could overcome these challenges, current algorithms require further improvement to obtain clinically acceptable accuracies. In this paper, we propose a learnable volumetric aggregation approach to reconstruct 3D human body pose and shape from calibrated multi-view images. We use a parametric representation of the human body, which makes our approach directly applicable to medical applications. Compared to previous approaches, our framework shows higher accuracy and greater promise for real-time prediction, given its cost efficiency.

研究の動機と目的

• 3D人体ポーズ推定における単一ビュー手法の欠陥、特にオクルージョンや自己不確かさの処理の限界を解消すること。
• 臨床応用を想定したマルチビュー3D人体再構築における精度と計算効率の向上。
• 密度の高いボクセルグリッドではなく、コンactなパラメトリック表現を用いることで、リアルタイム推論を可能とすること。
• 複数ビューの情報を3次元グローバル空間で特徴レベルで統合するフレームワークを構築し、3次元ポーズおよびボディシェイプ推定の精度を向上させること。
• 関節角やボディシェイプといった臨床的関連パラメータを推定することで、医療応用を支援すること。

提案手法

• 本手法は、複数のキャリブレーション済みビューからの入力画像に対して2次元バックボーンネットワークを用いて特徴を抽出する。
• カメラの内部パrameterと外部パラメータを用いて、特徴を3次元グローバル座標空間にバックプロジェクションし、3次元ボリューム特徴マップを構築する。
• 学習可能なボリュームアグリゲーション機構により、すべてのビューからの特徴を1つの3次元表現に統合し、空間的関係を保持する。
• 3次元回帰ネットワークが、統合された3次元特徴から直接SMPLパラメータ（ボディシェイプおよびポーズ）を予測する。
• パラメトリックボディモデル（SMPL）により、スパarsな特徴からの効率的な再構成が可能となり、モデルの複雑さとメモリ使用量が削減される。
• エンドツーエンドの学習により、マルチビューデータセット上で3次元関節誤差およびボディシェイプ再構築損失を最小化する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なボリュームアグリゲーションは、先行するマルチビュー手法と比較して、3次元人体ポーズおよびボディシェイプ推定の精度を向上させることができるか？
• RQ2 ボクセルベースの表現の代わりにパラメトリックボディモデルを用いることで、より高速かつ効率的な推論が可能になるか？
• RQ3 提案手法は、単一ビューベースラインと比較して、自己オクルージョンや複雑なボディコンフィギュレーションをよりよく処理できるか？
• RQ4 3次元空間における特徴レベルの統合は、ビュー単位または段階的推定と比較して、どの程度性能を向上させるか？
• RQ5 臨床応用に向けた実装を想定した場合、計算効率およびリアルタイム実行可能性の観点で、本手法はどの程度の性能を示すか？

主な発見

• 提案手法は、Human3.6MおよびMPI-INF-3DHPデータセットの両方で、3次元関節誤差およびボディシェイプ再構築の観点で最先端の性能を達成した。
• 先行する学習可能なトリアングレーション手法 [9] と比較して、GPUメモリ使用量と推論時間を30–50％削減したが、高い精度を維持した。
• 推論速度は他のモデルベース手法と同等またはそれ以上であり、標準GPU上でもリアルタイム性能を達成できた。
• 定性的な結果から、マルチビュー入力がオクルージョン状況での予測を顕著に改善し、四肢の位置決め誤差を低減することが示された。
• 自己オクルージョンに対しては頑健であるが、ボディ接触を伴うポーズにおける自己衝突は依然として課題のままである。
• 高い精度を達成しているが、自己衝突を明示的にペナルティ化していないこと、および関節角誤差が報告されていないことから、今後の研究において臨床的関連指標の導入が求められることが示唆された。