[論文レビュー] Learning to Forecast and Refine Residual Motion for Image-to-Video Generation

L. Zhao, Xi Peng+3 more|arXiv (Cornell University)|Jul 26, 2018

Generative Adversarial Networks and Image Synthesis参考文献 44被引用数 8

ひとこと要約

本稿では、構造的条件から残差運動を予測し、その後に空間時間的信号を用いてそれを精錬する二段階フレームワークを提案する。残差運動の学習と密なデコーダ接続の活用により、顔の表情のリターゲティングおよび人間のポーズ予測において最先端の性能を達成し、Penn Actionデータセットにおいて先行研究より23%のMSEの改善を達成した。

ABSTRACT

We consider the problem of image-to-video translation, where an input image is translated into an output video containing motions of a single object. Recent methods for such problems typically train transformation networks to generate future frames conditioned on the structure sequence. Parallel work has shown that short high-quality motions can be generated by spatiotemporal generative networks that leverage temporal knowledge from the training data. We combine the benefits of both approaches and propose a two-stage generation framework where videos are generated from structures and then refined by temporal signals. To model motions more efficiently, we train networks to learn residual motion between the current and future frames, which avoids learning motion-irrelevant details. We conduct extensive experiments on two image-to-video translation tasks: facial expression retargeting and human pose forecasting. Superior results over the state-of-the-art methods on both tasks demonstrate the effectiveness of our approach.

研究の動機と目的

• 単一の画像入力から時間的に整合性があり高品質な動画を生成する課題に対処すること。
• ハイレベルな構造的条件と空間時間的モデリングを組み合わせることで、長期的な動画生成を改善すること。
• フレーム間の運動に特化した変化に焦点を当てることで、運動に関係のない詳細の学習を減らすこと。
• デコーダアーキテクチャにおける密な接続を活用して特徴の再利用と現実性を向上させること。

提案手法

• フレームワークは二段階のプロセスを採用する：まず予測された構造シーケンスに条件づけた粗い動画を生成し、その後で時間的信号を用いて精錬する。
• 運動予測ネットワークは、現在のフレームと将来のフレーム間の残差運動を学習し、静的または関係のないコンテンツの重複学習を回避する。
• 条件ジェネレータは、生成段階をガイドするため、ポーズのランドマークや顔のキーポointsなどの構造的シーケンスを予測する。
• 精錬段階では、空間時間的生成ネットワークを用いて時間的整合性と視覚的品質を向上させる。
• 空間特徴の再利用を促進し、現実性を向上させるために、デコーダに密な接続を導入する。
• 損失関数には adversarial loss、VGG16 および Hourglass 特徴を用いた perceptual feature loss、および運動の一貫性のための再構成損失が含まれる。

実験結果

リサーチクエスチョン

• RQ1 残差運動の学習は、運動に特化した変化にのみ焦点を当てることで、動画生成の性能を向上させるか？
• RQ2 構造的条件のガイドと空間時間的精錬を組み合わせることで、長期的な動画生成がどのように向上するか？
• RQ3 密なデコーダ接続は、動画生成における視覚的品質と特徴の再利用にどの程度寄与するか？
• RQ4 二段階の生成・精錬パイプラインは、動画の品質と整合性において、エンドツーエンドアプローチを上回るか？

主な発見

• 本手法は、Penn Actionデータセットにおいて、真値の運動マップを用いた場合、平均二乗誤差（MSE）が0.011を達成し、先行研究（Villegasら）のMSE 0.025を上回った。
• MUGデータベースでは、ACD-Iスコアが0.459、ACD-Cスコアが0.155を達成し、顔の表情リターゲティングにおいて強力な性能を示した。
• 視覚的比較では、[39]の手法と比較して、生成された動画がより時間的に整合性があり、視覚的に現実的であることが示された。特に、人間の外見と運動構造の保持が優れていた。
• アブレーションスタディにより、各構成要素（残差学習、密な接続、二段階スキーム）が性能向上に寄与していることが確認され、これらの要素をすべて含む完全なモデルが、いずれかを欠いた変種よりも優れた性能を示した。