[論文レビュー] Accurate 3D Body Shape Regression using Metric and Semantic Attributes

Vasileios Choutas, Lea Müller+4 more|arXiv (Cornell University)|Jun 14, 2022

Human Pose and Action Recognition被引用数 5

ひとこと要約

本論文では、単一のRGB画像から人体の正確な3次元形状を推定するための深層学習モデルSHAPYを提案する。本モデルは、人間の身体的寸法（身長、胸囲、わきおこし、ヒップ囲）とクラウドソーシングによる言語的形状属性（例：'背が長い'、'ピーチ・シルエット'）を弱い教師信号として用いる。3次元スキャンに代わって、容易に入手可能なこれらの信号を活用することで、本モデルは新しい野外ベンチマーク（HBW）において、限られた教師信号にもかかわらず、最先端の性能を達成した。

ABSTRACT

While methods that regress 3D human meshes from images have progressed rapidly, the estimated body shapes often do not capture the true human shape. This is problematic since, for many applications, accurate body shape is as important as pose. The key reason that body shape accuracy lags pose accuracy is the lack of data. While humans can label 2D joints, and these constrain 3D pose, it is not so easy to "label" 3D body shape. Since paired data with images and 3D body shape are rare, we exploit two sources of information: (1) we collect internet images of diverse "fashion" models together with a small set of anthropometric measurements; (2) we collect linguistic shape attributes for a wide range of 3D body meshes and the model images. Taken together, these datasets provide sufficient constraints to infer dense 3D shape. We exploit the anthropometric measurements and linguistic shape attributes in several novel ways to train a neural network, called SHAPY, that regresses 3D human pose and shape from an RGB image. We evaluate SHAPY on public benchmarks, but note that they either lack significant body shape variation, ground-truth shape, or clothing variation. Thus, we collect a new dataset for evaluating 3D human shape estimation, called HBW, containing photos of "Human Bodies in the Wild" for which we have ground-truth 3D body scans. On this new benchmark, SHAPY significantly outperforms state-of-the-art methods on the task of 3D body shape estimation. This is the first demonstration that 3D body shape regression from images can be trained from easy-to-obtain anthropometric measurements and linguistic shape attributes. Our model and data are available at: shapy.is.tue.mpg.de

研究の動機と目的

• 3次元人体形状推定モデルの学習に必要な画像-3次元人体形状ペアデータの不足を解決すること。
• 衣服やポーズによって人体が隠れるような制約のない実世界の画像において、3次元人体形状の推定精度を向上させること。
• 身体的寸法や言語的属性といった容易に収集可能なデータからの弱い教師信号を用いて、3次元形状回帰モデルを学習可能にする。
• 言語的形状属性とスパarsな測定値が、3次元スキャンの代替として効果的に機能することを実証すること。
• 3次元スキャンの真値を備えた実世界の画像を用いた、3次元人体形状推定のための新しいベンチマーク（HBW）を確立すること。

提案手法

• 著者らは、ファッションモデルのインターネット画像と関連する身体的寸法（身長、胸囲、わきおこし、ヒップ囲）を収集したデータセットを構築した。
• 3次元人体メッシュと対応する画像に対して、クラウドソーシングによるレーティングにより言語的形状属性（例：'背が長い'、'ピーチ・シルエット'）を収集した。
• 本モデルは、RGB画像からSMPL-X人体パラメータを回帰するための新しいニューラルネットワークSHAPYを、身体的寸法と言語的属性を教師信号として学習した。
• 形状とポーズを同時に予測するマルチタスク学習の枠組みを採用し、形状予測を身体的寸法と属性からの弱い信号で制約した。
• 言語的属性から3次元形状を予測する別々の属性→形状（A2S）ヘッドを訓練し、主ネットワークの正則化に役立てた。
• 著者らは、評価のための実世界の画像と真値3次元スキャンを備えた新しいベンチマークデータセットHBW（Human Bodies in the Wild）を導入した。

実験結果

リサーチクエスチョン

• RQ1 身体的寸法と言語的属性のみを教師信号として用いることで、単一のRGB画像から3次元人体形状を正確に推定できるか？
• RQ2 言語的形状属性が、3次元形状推定のための深層ネットワーク学習において真値3次元測定値にどの程度置き換え可能か？
• RQ3 身体的寸法と属性といった容易に収集可能なデータからの弱い教師信号が、野外における3次元人体形状推定で最先端の性能を達成可能か？
• RQ4 衣服や体型の多様性が著しい実世界の画像において、本モデルは既存の最先端手法と比較してどの程度の性能を示すか？
• RQ5 実世界の画像と真値3次元スキャンを備えた新しいベンチマークが、3次元人体形状推定の評価に有効に機能するか？

主な発見

• SHAPYはHBWベンチマークにおいて最先端の性能を達成し、テストセットでP2P誤差6.8 mmという結果を得て、先行手法を顕著に上回った。
• 言語的形状属性を用いることで、測定値のみで学習したモデルと比較して、身長と周囲径の予測誤差が最大1.0 mmまで低下した。
• 身長または周囲径の測定値のみを用いても、属性の追加により形状推定精度が向上したため、属性が有意味な形状のインダクティブバイアスを提供していることが示された。
• 3DPWデータセットでは、PA-MPJPEが62.6 mmを記録し、最先端のポーズ推定モデルと同等の性能を示したが、最良の手法に比べてわずかに劣った。
• 本モデルは多様な体型に良好に一般化したが、肥満度が高く、または筋肉質な個体では失敗事例が見られたことから、現在のSMPL-X表現には限界があると示唆された。
• アブレーションスタディの結果、言語的属性が真値測定値の代替として効果的であり、測定値のみのベースラインと同等またはそれ以上の性能を示した。