[論文レビュー] Human Motion Transfer with 3D Constraints and Detail Enhancement

Yang-Tian Sun, Qiancheng Fu+5 more|arXiv (Cornell University)|Mar 30, 2020

Advanced Vision and Imaging被引用数 4

ひとこと要約

本稿では、再構築されたパラメトリックな人体モデルからの3次元制約と、詳細強化ネットワークを用いて、リアルな高精細なモーショントランスファー動画を生成するGANベースの人体運動移行手法を提案する。ラプラシアン特徴量を用いて3次元構造的一致性を確保し、実際のソースフレームからの微細なディテールを移行することで、最先端の手法に比べて優れた定性的および定量的結果を達成している。

ABSTRACT

We propose a new method for realistic human motion transfer using a generative adversarial network (GAN), which generates a motion video of a target character imitating actions of a source character, while maintaining high authenticity of the generated results. We tackle the problem by decoupling and recombining the posture information and appearance information of both the source and target characters. The innovation of our approach lies in the use of the projection of a reconstructed 3D human model as the condition of GAN to better maintain the structural integrity of transfer results in different poses. We further introduce a detail enhancement net to enhance the details of transfer results by exploiting the details in real source frames. Extensive experiments show that our approach yields better results both qualitatively and quantitatively than the state-of-the-art methods.

研究の動機と目的

• ソース被験者からターゲット被験者へのリアルな人体モーショントランスファーを実現するが、外観および運動の真正性を保持することを目的とする。
• 3次元幾何的制約を組み込むことで、特に自己遮蔽や構造的歪みを含むポーズ移行におけるアーチファクトを克服することを目的とする。
• 実際のソースフレームからの幾何的特徴を活用して、特に手や顔の特徴といった微細な視覚的ディテールを強化し、リアルさを向上させることを目的とする。
• 3次元ボディ構造とディテールに敏感な精錬を統合することで、モーショントランスファーにおける時間的整合性と画像品質を向上させることを目的とする。

提案手法

• 非剛性3次元再構築パイプラインを用いて、モノクローラルソースおよびターゲット動画シーケンスから3次元パラメトリック人体モデルを再構築する。
• 再構築された3次元メッシュからラプラシアン特徴量を抽出し、変形に依存しない内在的幾何的表現として、GANの条件付けにおける3次元制約に用いる。
• 2次元ポーズと投影されたラプラシアン特徴量を、GANベースの画像間変換ネットワークへの条件入力として用い、ポーズ間での構造的整合性を維持する。
• ソースフレームの幾何的特徴をターゲットポーズとアライメントさせ、高周波数ディテール（例：手、顔）を移行する詳細強化ネットワーク（DE-Net）を設計する。
• ソースおよびターゲットの動画フレームを用いて、モーショントランスファーネット（MT-Net）とDE-Netを同時に学習させ、ディテールに敏感な生成を可能にする。
• DE-Netにアライメント変換を適用し、ソースとターゲット間の空間的対応関係を確保することで、ディテール移行におけるアーチファクトを低減する。

実験結果

リサーチクエスチョン

• RQ1 再構築された人体モデルから導出される3次元幾何的制約は、2Dポーズのみに依存する条件付けと比較して、モーショントランスファー結果の構造的一致性を向上させ得るか？
• RQ2 従来の3次元特徴量（例：UV座標）と比較して、ラプラシアン座標のような内在的3次元特徴量は、モーショントランスファータスクにおいてどのように効果を示すか？
• RQ3 実際のソースフレームのディテールは、特に手や顔の特徴のような領域において、生成されたモーショントランスファー動画の視覚的品質をどの程度向上させ得るか？
• RQ4 学習時のソースフレーム数が、モーショントランスファーモデルの品質および一般化性能にどのように影響を与えるか？
• RQ5 ソース被験者が異常な動きを示す、または衣類のゆらぎがある場合、本手法の失敗モードはどのようなものか？

主な発見

• 提案手法は、インceptionスコア（IS）4.015およびFrećhet Inception Distance（FID）51.26を達成し、先行手法のIS 3.612およびFID 58.42と比較して顕著に優れている。
• アブレーションスタディの結果、ラプラシアン特徴量を用いた3次元制約が、より高いISと低いFIDをもたらし、画像品質および多様性の向上を実証している。
• 詳細強化ネットワークは、顔の特徴や手の部分における視覚的明瞭性の向上とぼやけの低減を効果的に実現しており、定性的な比較で明確に示されている。
• 本手法は、ポーズ間で時間的安定性と構造的一致性を維持しており、ベースライン手法で一般的に見られる四肢の混合などのアーチファクトを回避している。
• 実験により、ソース対ターゲットフレーム比が約0.5に達する段階で、画像品質の収束が見られ、データ準備の指針が得られた。
• 失敗事例では、長髪やゆるい衣類を持つ被験者に対してDE-Netが不要な視覚的アーチファクトを抑制できていないことが判明した。