[論文レビュー] Monocular Real-time Full Body Capture with Inter-part Correlations

Yuxiao Zhou, Marc Habermann+4 more|arXiv (Cornell University)|Dec 11, 2020

Face recognition and analysis参考文献 76被引用数 6

ひとこと要約

本論文は、単一のRGB画像から身体、手、顔の形状とアイデンティティおよび表情を同時に推定することで、初めてリアルタイムで動作するモノクローラルな全身3Dキャプチャ手法を提示する。本手法は、特徴の複合化ネットワークと注意メカニズムを用いたマルチデータセット学習により、全身体部の同時アノテーションを必要とせずに、部品間の相関関係を活用し、高精度かつ高効率な性能を達成する。

ABSTRACT

We present the first method for real-time full body capture that estimates shape and motion of body and hands together with a dynamic 3D face model from a single color image. Our approach uses a new neural network architecture that exploits correlations between body and hands at high computational efficiency. Unlike previous works, our approach is jointly trained on multiple datasets focusing on hand, body or face separately, without requiring data where all the parts are annotated at the same time, which is much more difficult to create at sufficient variety. The possibility of such multi-dataset training enables superior generalization ability. In contrast to earlier monocular full body methods, our approach captures more expressive 3D face geometry and color by estimating the shape, expression, albedo and illumination parameters of a statistical face model. Our method achieves competitive accuracy on public benchmarks, while being significantly faster and providing more complete face reconstructions.

研究の動機と目的

• 身体、手、顔の表情を含むリアルタイムでモノクローラルな全身3Dキャプチャの課題に取り組む。
• 身体、手、顔の同時アノテーションを備えた大規模データセットを収集する難しさを克服する。
• 全身体部の共同アノテーションを必要とせず、部品固有のデータセットで学習することで、多様なベンチマークに優れた一般化性能を実現する。
• 身体特徴を低周波数のグローバルコンテキストとして活用することで、手のキーポイント検出の精度と効率を向上させる。
• 3D可塑的顔モデル（3DMM）を用いて、アイデンティティおよび表情の変動を考慮し、詳細な顔の幾何、アルベド、照明を再構築する。

提案手法

• 4つのタスク固有のサブネットワーク（DetNet（キーポイント検出）、BodyIKNetおよびHandIKNet（逆運動学）、FaceNet（3D顔モデリング））を備えたモジュラーでエンドツーエンドのディープラーニングパイプラインを提案する。
• 手のポーズ推定ブランチが、身体特徴（低周波数グローバルコンテキスト）と局所的ハンド特徴（高周波数ディテール）の両方を用いる特徴複合機構を設計し、計算量を削減するとともに精度を向上させる。
• 異なるデータセット間でのキーポイントの不一致に対応するため、2段階構造の身体キーポイント検出構造を実装する。
• ミニバッチ学習中に、2D/3Dキーポイント、MoCap、画像など多様なデータモダリティからの特徴を動的に選択・重み付けする注意メカニズムを導入する。
• 複数のデータセット（部品固有：身体、手、顔、共同：身体＋手、MoCap専用、2Dラベル付きイン・ザ・ワイルド画像）を用いてネットワークを学習する。
• 身体と手のメッシュにはSMPLHを用い、顔領域は3D可塑的顔モデル（3DMM）に置き換え、形状、表情、アルベド、照明を捉える。

Figure 1 : We present the first real-time monocular approach that jointly captures shape and pose of body and hands together with facial geometry and color. Top: results on in-the-wild sequences. Bottom: real-time demo. Our approach predicts facial color while the body color is set manually.

実験結果

リサーチクエスチョン

• RQ1 単一のネットワークアーキテクチャが、モノクローラルRGB画像からリアルタイムに3D身体、手、顔の形状を同時に推定可能か？
• RQ2 身体と手の間の部品間相関をどのように活用することで、手のキーポイント検出の精度と効率を向上させられるか？
• RQ3 全身体部の共同アノテーションを必要とせず、部品固有のデータセットで学習することで、優れた一般化性能を達成できるか？
• RQ4 2D/3Dキーポイント、MoCap、画像などのマルチモーダルデータ学習が、多様なベンチマークでの性能向上にどの程度寄与するか？
• RQ5 3DMMベースのアプローチにより、リアルタイムで詳細でレンダリング可能な顔の幾何と色を再構築できるか？

主な発見

• 本手法は、リアルタイムの推論（リアルタイムデモで確認）を達成し、公開ベンチマークでも競争力のある精度を示す。MTC-Handでは、身体特徴を用いないベースラインと比較してMPJPEが28%低減された。
• FaceNetはMTC-Faceでランドマーク誤差を3.37 px、光度誤差を0.0444（チャネル単位）にまで低減し、[61]と比較してランドマーク誤差で27%、光度誤差で32%の改善を達成した。
• 注意メカニズムにより、クロスデータセット一般化性能が向上し、DetNetはHM36Mで5.4 mm、MPII3Dで9.8 mmのMPJPE向上を達成した（DetNet-U（均一）と比較）。
• DetNet-O（MTCでのみ学習）はMTC-Handを越えて一般化に失敗するが、DetNet-I（屋内データのみ）はイン・ザ・ワイルドデータで性能を発揮せず、多様なデータの価値を裏付けた。
• アブレーションスタディにより、身体特徴（F*）がMTC-Handで手のMPJPEを28%低減することが確認され、補助特徴（高解像度ハンド特徴）が性能に不可欠であることが判明した。
• 本手法は、アルベドと照明を伴い、個人の顔のアイデンティティと表情を捉えることができ、従来のモノクローラル手法とは異なり、フォトリアルなレンダリングを可能にする。

Figure 2 : System overview and DetNet structure. Left: An input image $I_{h}$ is first downscaled by 4x for body keypoint detection and face/hand localization. The hand area is then cropped from $I_{h}$ to retrieve supp-features , which are concatenated with processed body-features for hand keypoint