[論文レビュー] Human Body Measurement Estimation with Adversarial Augmentation

Nataniel Ruiz, Míriam Bellver+5 more|arXiv (Cornell University)|Oct 11, 2022

Infrared Thermography in Medicine被引用数 4

ひとこと要約

本稿では、2枚のシルエット画像と身長・体重を入力として、14の人体測定値を推定する深層畳み込みネットワークBMnetを提案する。本研究では、モデルのロバスト性と精度を向上させるために、挑戦的でレアなボディシェイプ（例：極端なBMI）を生成する微分可能で敵対的なボディシミュレータ（ABS）を導入している。実データ上での精度向上が最大10%に達し、最先端の性能を達成しており、従来手法を最大3倍の性能向上で上回っている。

ABSTRACT

We present a Body Measurement network (BMnet) for estimating 3D anthropomorphic measurements of the human body shape from silhouette images. Training of BMnet is performed on data from real human subjects, and augmented with a novel adversarial body simulator (ABS) that finds and synthesizes challenging body shapes. ABS is based on the skinned multiperson linear (SMPL) body model, and aims to maximize BMnet measurement prediction error with respect to latent SMPL shape parameters. ABS is fully differentiable with respect to these parameters, and trained end-to-end via backpropagation with BMnet in the loop. Experiments show that ABS effectively discovers adversarial examples, such as bodies with extreme body mass indices (BMI), consistent with the rarity of extreme-BMI bodies in BMnet's training set. Thus ABS is able to reveal gaps in training data and potential failures in predicting under-represented body shapes. Results show that training BMnet with ABS improves measurement prediction accuracy on real bodies by up to 10%, when compared to no augmentation or random body shape sampling. Furthermore, our method significantly outperforms SOTA measurement estimation methods by as much as 3x. Finally, we release BodyM, the first challenging, large-scale dataset of photo silhouettes and body measurements of real human subjects, to further promote research in this area. Project website: https://adversarialbodysim.github.io

研究の動機と目的

• 画像からの物理的ボディ測定値を正確かつスケーラブルに推定する手法の不足に応えること、特に測定精度が求められる状況を想定する。
• 測定値のメトリック整合性を保証できない、従来の3D再構築手法の限界を克服すること。
• モデルの弱みを露呈させる合成的で挑戦的なボディシェイプを生成することで、トレーニングにおけるデータ不足問題を緩和すること。
• 特にBMIが高めの個体など、代表されていないボディタイプに対して、測定推定モデルの一般化性能とロバスト性を向上させること。
• 本分野の研究を前進させるための新しいベンチマークデータセットを提供すること。

提案手法

• BMnetは、2つのシルエットと、スケールのあいまいさを解消するための身長・体重を入力として、14の物理的ボディ測定値を回帰する深層畳み込みニューラルネットワーク（CNN）である。
• 敵対的ボディシミュレータ（ABS）は、固定ポーズ下でBMnetの予測誤差を最大化するように、SMPLの形状パラメータを最適化する微分可能でエンドツーエンドのフレームワークである。
• ABSはBMnetと閉ループで動作し、バックプロパゲーションを用いて、データ分布のギャップとモデルの脆弱性を露呈させる敵対的例を生成する。
• 敵対的最適化は、勾配上昇法を用い、実際のBodyM被験者から初期化された形状パラメータに対して、Adamを用いて学習率0.1で5ステップの最適化を実行する。
• トレーニングデータは、ABSから得られる敵対的形状で拡張され、追加の実データ収集なしに、実世界のテストデータ上でのBMnetの性能が顕著に向上した。
• 本手法はSMPLボディモデルを微分可能3Dメッシュ生成器として活用し、微分可能なレンダリングによるシルエット生成と、微分可能関数gによる測定値抽出を可能としている。

(a)

実験結果

リサーチクエスチョン

• RQ1 SMPL空間内での敵対的形状生成は、ボディ測定推定モデルのデータ分布ギャップを効果的に特定・是正できるか？
• RQ2 ランダムまたは無増強の場合と比較して、敵対的増強は実人間被験者における測定予測精度をどの程度向上させるか？
• RQ3 シミュレートされたデータと実データの両方において、本手法は最先端のアプローチと比較して平均誤差および各測定値の誤差でどの程度優れているか？
• RQ4 敵対的データで訓練した場合、極端なBMIを持つような代表されていないボディタイプにも一般化できるか？
• RQ5 予測メッシュから直接物理的測定値を測定する場合、本手法はメッシュ再構築ベースのアプローチを上回るか？

主な発見

• 敵対的増強により、実人間被験者におけるBMnetの測定推定精度が、増強なしまたはランダムサンプリングの場合と比較して最大10%向上した。
• 本手法は最先端の性能を達成し、シミュレートされたテストセットにおいて、従来の最先端手法を最大3倍の誤差低減で上回った。
• 実際のBodyFitデータセットにおいて、BMnetは最近のHMRベース手法と比較して平均誤差を35%以上削減した。これは、身長と体重が提供されていなくても同様の結果を達成したことを示している。
• 敵対的増強は、全BMIカテゴリで誤差を顕著に低減させ、特にデータが少ない状況（1,000サンプル）においても、個々の測定値で一貫した改善を示した。
• 本手法はロバスト性と一般化性能を示し、まれで極端なボディシェイプにおいて顕著な性能向上を達成した。これは、ABSがモデルの失敗モードを効果的に特定していることを裏付けている。
• 2,505名の実被験者からなる、シルエットと14の物理的測定値を含む大規模データセットBodyMのリリースにより、本分野における今後の研究のための新しいベンチマークが提供された。

(b)