[論文レビュー] DwNet: Dense warp-based network for pose-guided human video generation

Polina Zablotskaia, Aliaksandr Siarohin+2 more|arXiv (Cornell University)|Oct 21, 2019

Human Pose and Action Recognition参考文献 40被引用数 9

ひとこと要約

DwNetは、密度的なワープベースの精錬と逐次的時間的条件付けを用いた、GAMベースの動画生成フレームワークを提案する。詳細な密度的ポーズ表現と、前回出力に条件づけられた反復的フレーム生成を活用することで、ファッションおよびタイチのデータセットにおいて、リアルさ、時間的整合性、外見の忠実度の面で最先端の結果を達成した。

ABSTRACT

Generation of realistic high-resolution videos of human subjects is a challenging and important task in computer vision. In this paper, we focus on human motion transfer - generation of a video depicting a particular subject, observed in a single image, performing a series of motions exemplified by an auxiliary (driving) video. Our GAN-based architecture, DwNet, leverages dense intermediate pose-guided representation and refinement process to warp the required subject appearance, in the form of the texture, from a source image into a desired pose. Temporal consistency is maintained by further conditioning the decoding process within a GAN on the previously generated frame. In this way a video is generated in an iterative and recurrent fashion. We illustrate the efficacy of our approach by showing state-of-the-art quantitative and qualitative performance on two benchmark datasets: TaiChi and Fashion Modeling. The latter is collected by us and will be made publicly available to the community.

研究の動機と目的

• 1枚のソース画像とドライブ用のモーショングラフィック動画から、高解像度で時間的に整合性のある人間の動画を生成する課題に対処すること。
• スプライスキーポイントやスケルトンベースの手法ではなく、密度的中間表現を用いることで、ポーズガイドド動画生成における外見の保存性を向上させ、視覚的アーティファクトを低減すること。
• 各フレーム生成を直前のフレームに条件づけることで、時間的整合性を向上させ、独立したフレームごとの合成を避けること。
• 密度的ポーズベースのワープにおける誤差を是正するための洗練されたワープグリッド推定モジュールを開発すること。
• 今後の研究を支援するため、新しい高解像度ファッション動画データセットを収集・公開すること。

提案手法

• DensePoseから得られる密度的中間表現を用いて、ソース被写体の外見をターゲットポーズに正確にワープする。
• 2段階のワープ精錬機構を導入：まず粗いワープグリッド推定を行い、その後にポーズ由来の歪みを是正する精錬済みワープグリッドを適用する。
• 生成器がソース画像、ターゲットポーズ、および直前に生成されたフレームに条件づけられるGANベースのオートエンコーダー・アーキテクチャを採用する。
• 生成器を直前のフレームに条件づけることで、動画シーケンス全体にわたる時間的整合性を確保するマルコフ的モデリング戦略を適用する。
• リアルさとアライメントの最適化のため、知覚的損失、FID、平均キーポイント距離（AKD）を評価指標として用いる。
• 敵対的損失と知覚的再構成損失を用いて、高周波数成分とテクスチャ忠実度を保持するように、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 スプライスキーポイントやスケルトンベースの手法と比較して、密度的ワープベースのアプローチは、ポーズガイドド人間動画生成における視覚的品質の向上とアーティファクトの低減を達成できるか？
• RQ2 直前のフレームに条件づけたフレーム生成は、動画合成における時間的整合性を顕著に向上させるか？
• RQ3 洗練されたワープグリッド推定モジュールは、ワープ誤差をどの程度低減し、外見の一貫性を向上させるか？
• RQ4 提案手法は、高解像度人間モーショントランスファー課題において、定量的および定性的にSOTA手法と比較してどのように差をつけるか？
• RQ5 公開可能な新しい高解像度ファッション動画データセットは、この分野におけるベンチマーク評価と再現可能性を向上させることができるか？

主な発見

• ファッションデータセットでは、DwNetが最小の知覚的損失（0.2811）とFID（13.09）を達成し、MonkeyNetおよびCoordinate Inpaintingを上回った。
• タイチデータセットでは、DwNetが知覚的損失0.5960、FID75.44を達成し、複雑なモーショングラフィックシーケンスにおいて強力な性能を示した。
• ユーザーの好み評価では、ファッションデータセットで99.6%、タイチデータセットで85.2%の比較でDwNetが好まれ、顕著な知覚的品質を示した。
• アブレーションスタディの結果、洗練されたワープグリッドを削除するとFIDが13.09から15.37に上昇し、両方のワープコンponentを削除するとぼやけた、一貫性のない出力が得られた。
• 直前のフレームに条件づけたマーカフ戦略は、定性的および定量的結果から、時間的整合性の顕著な向上を示した。
• 粗いおよび洗練された両方のワープグリッドを備えた完全なモデルが、最小限のテクスチャずれと顔の歪みを伴い、最もリアルで一貫性のある結果を生成した。