[論文レビュー] Shape-Aware Human Pose and Shape Reconstruction Using Multi-View Images

Junbang Liang, Ming C. Lin|arXiv (Cornell University)|Aug 26, 2019

Human Pose and Action Recognition参考文献 50被引用数 13

ひとこと要約

本論文は、SMPLパラメータを用いてマルチビュー画像から3次元人体メッシュを再構築するスケーラブルでエンド・ツー・エンドのディープラーニングフレームワークを提案する。合成データセットを用い、真の形状ラベルの監視を施すことで、非標準の体型やゆとりのある服を着た場合の形状推定精度を向上させ、実世界のデータにおいてもポーズと形状の両面で先行手法を上回る性能を達成した。

ABSTRACT

We propose a scalable neural network framework to reconstruct the 3D mesh of a human body from multi-view images, in the subspace of the SMPL model. Use of multi-view images can significantly reduce the projection ambiguity of the problem, increasing the reconstruction accuracy of the 3D human body under clothing. Our experiments show that this method benefits from the synthetic dataset generated from our pipeline since it has good flexibility of variable control and can provide ground-truth for validation. Our method outperforms existing methods on real-world images, especially on shape estimations.

研究の動機と目的

• 非標準の体型や服を着た人体のマルチビュー画像からの正確な3次元人体再構築の課題に対処すること。
• 複数の視点角度を活用することで2次元から3次元への再構築における投影の曖昧さを低減し、ポーズと形状推定を向上させること。
• 実世界のデータセットにおける真の形状ラベルの不足を補うために、正確なSMPLパラメータの監視が可能な大規模な合成データセットを生成すること。
• 体格指数（BMI）が極端な場合やゆとりのある服を着た場合に、輪郭ベースの手法が失敗する状況での形状推定精度を向上させること。
• 入力画像の枚数に応じてスケーラブルで、エンド・ツー・エンドで学習可能な柔軟なマルチビュー・マルチステージニューラルネットワークを構築すること。

提案手法

• 本手法は、異なる角度から撮影された3～4枚の画像の視覚的特徴を統合し、SMPLのポーズおよび形状パラメータを推定するマルチビュー・マルチステージディープニューラルネットワークを採用する。
• 形状は主成分分析（PCA）係数、ポーズは関節角度によって表現される、SMPLモデルをパラメトリックな3次元人体プロファイラとして用いる。
• 物理ベースのシミュレーションパイプラインにより、多様な体型、ポーズ、衣装を備えたマルチビュー動画シーケンスを含む大規模な合成データセットを生成し、真のSMPLパラメータを提供する。
• この合成データ上でエンド・ツー・エンドに学習させることで、衣類の外観と下に隠れた身体形状との相関関係を学習し、形状に配慮した再構築を可能にする。
• 入力ビューが完全に同期されていなくても、または正確にアライメントされていなくても、頑健な性能を発揮できるエラー補正機構をフレームワークに組み込む。
• 実世界のデータ上で微調整を行うことで、カメラキャリブレーションや時間的整合性を必要とせず、ポーズと形状推定の両方で高い精度を達成する。

実験結果

リサーチクエスチョン

• RQ1 非標準の体型に対して、1ビュー法と比較してマルチビュー画像が3次元人体再構築の精度を顕著に向上させることができるか？
• RQ2 真のSMPLパラメータを備えた合成データセットは、画像ベースの再構築における形状推定をどの程度向上させることができるか？
• RQ3 ディープラーニングフレームワークは、輪郭に依存するのではなく、衣類の変形から形状に配慮した視覚的特徴をどの程度効果的に捉えることができるか？
• RQ4 マルチビュー・マルチステージのネットワークアーキテクチャは、最適化ベースや1ビュー学習ベースの既存手法を上回る性能を、ポーズと形状両方の推定で示せるか？
• RQ5 オクルージョン、低照度、非同時撮影といった実世界の課題に対して、本手法はどの程度の頑健性を示せるか？

主な発見

• 本手法はHuman3.6Mベンチマークで79.85%の精度を達成し、カメラキャリブレーションや時間的情報がなくても、最先端のマルチビュー再構築手法を上回った。
• 実世界のタップメジャー測定データでは、マルチビュー版が立ち姿で平均相対誤差6.23%、座り姿で5.26%まで低下させ、HMR や BodyNet を顕著に上回った。
• 非標準の体型やゆとりのある服を着た場合に、本手法はHMRと比較して形状推定精度を34.7%向上させた。この状況では輪郭ベースの手法が失敗する。
• 真のSMPLパラメータを備えた合成データセットにより、モデルは形状に配慮した特徴を学習でき、同じベンチマークで45.13%のProcrustes補正済み誤差を示し、ポーズの変動に対しても頑健であることが示された。
• 入力画像が非同時撮影、照明条件の変化、オクルージョンがある状況でも、エラー補正構造とマルチビュー統合のおかげで高い性能を維持した。
• 可視化比較では、特に胸部や脚の幾何構造を実画像からより正確に再構築できており、HMR よりも優れた身体形状と四肢の向きの再構築を実現した。