[論文レビュー] DenseBody: Directly Regressing Dense 3D Human Pose and Shape From a Single Color Image

Pengfei Yao, Zheng Fang+3 more|arXiv (Cornell University)|Mar 25, 2019

Human Pose and Action Recognition参考文献 48被引用数 30

ひとこと要約

DenseBodyは、新しいUV位置マップ表現を用いて、単一のRGB画像から直接密度の高い3次元人体メッシュを回帰するエンドツーエンドのディープラーニングフレームワークを提案する。中間の教師信号を用いずに、エンコーダ・デコーダ型CNNを用いてこの3次元表現を予測するように訓練することで、Human3.6M、SURREAL、UP-3Dの各ベンチマークで最先端の性能を達成し、1フレームあたり200FPSの推論速度を実現した。

ABSTRACT

Recovering 3D human body shape and pose from 2D images is a challenging task due to high complexity and flexibility of human body, and relatively less 3D labeled data. Previous methods addressing these issues typically rely on predicting intermediate results such as body part segmentation, 2D/3D joints, silhouette mask to decompose the problem into multiple sub-tasks in order to utilize more 2D labels. Most previous works incorporated parametric body shape model in their methods and predict parameters in low-dimensional space to represent human body. In this paper, we propose to directly regress the 3D human mesh from a single color image using Convolutional Neural Network(CNN). We use an efficient representation of 3D human shape and pose which can be predicted through an encoder-decoder neural network. The proposed method achieves state-of-the-art performance on several 3D human body datasets including Human3.6M, SURREAL and UP-3D with even faster running speed.

研究の動機と目的

• 限られた3次元の教師信号での単一RGB画像からの3次元人体再構築の課題に対処すること。
• パフォーマンスを制限し、複雑さを増す要因となる中間表現（2次元キーポイント、セグメンテーション、シルエットなど）への依存を排除すること。
• 画像から密度の高い3次元メッシュ幾何学へ直接マッピングする効率的でエンドツーエンドのフレームワークを開発すること。
• 従来の最先端手法と比較して、より優れた精度と推論速度を達成すること。
• 1段階の学習フレームワークにおいて、UVベースの3次元表現が直接的な3次元メッシュ回帰に有効であることを示すこと。

提案手法

• 密度の高い3次元人体メッシュ幾何学を符号化するための新しい3次元表現として、UV位置マップを提案し、RGB画像からの直接的回帰を可能にする。
• エンコーダ・デコーダ型CNNアーキテクチャを採用し、エンコーダが入力画像を処理し、デコーダが3次元メッシュのUVマップを再構築する。
• 中間の教師信号や段階的精錬を必要とせず、UVマップ予測を直接最適化する1段階の学習プロセスを採用する。
• 部分ごと・関節ごとの重み付けを施したL1損失をUVマップに適用し、局所化の正確性を向上させるとともに、幾何的複雑性に対処する。
• 予測されたUVマップの滑らかさを促進し、ノイズを低減するために、全変動（TV）損失を導入する。
• SMPLパラメトリックボディモデルをUVマップ表現を通じて暗黙的に利用し、明示的なSMPLパrameter予測を必要とせずに一貫性のある3次元メッシュ生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 2次元の教師信号を介さずに、単一のRGB画像から3次元人体メッシュを直接エンドツーエンドで回帰することは可能か？
• RQ2 UVベースの3次元表現は、従来のSMPLパrameter化やボリューム出力と比較して、より正確で効率的な3次元メッシュ予測を可能にするか？
• RQ3 中間の2次元教師信号（例：キーポイントのヒートマップやセグメンテーション）に依存するマルチステージ手法と比較して、1段階の学習フレームワークが優れた性能を発揮できるか？
• RQ4 標準的な3次元人体ボディベンチマークにおいて、提案手法は最先端手法と比較して精度と速度で優れているか？
• RQ5 ネットワークアーキテクチャや損失関数の違いが、最終的な3次元再構築品質に与える影響は何か？

主な発見

• SURREALデータセットにおいて、DenseBodyは従来手法と比較して表面誤差を31.5%、関節誤差を13.0%低減し、最先端の性能を達成した。
• Human3.6Mでは、追加の学習データを用いない状態で、すべての手法の中で最高のMPJPE（3次元関節誤差）を達成し、追加データを用いた場合には最高性能を示す手法と同等の性能を示した。
• UP-3Dデータセットでは、表面誤差91.7 mm、関節誤差71.4 mmという低さで、すべての従来の最先端手法を上回った。
• 1枚のGPUで200FPSの実行速度を達成し、HMR（1270 ms）、NBF（169 ms）、Bodynet（1810 ms）といった従来手法を大きく上回った。
• アブレーションスタディの結果、部分および関節ごとのマスクを用いた重み付きL1損失が最良の性能（MPJPE 51.4 mm）を達成したことが判明し、ネットワークアーキテクチャの選択が最終的な精度にほとんど影響しないことも示された。
• 全変動（TV）損失の追加により、わずかに性能が向上（MPJPE 51.0 mm）し、UVマップ予測の滑らかさとロバストネスが向上したことが示された。