[論文レビュー] Video Synthesis from a Single Image and Motion Stroke

Qiyang Hu, Adrian Waelchli+3 more|arXiv (Cornell University)|Dec 5, 2018

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 11

ひとこと要約

本論文では、1枚の画像と動きのストロークのシーケンスから長時間の動画を合成する再帰的動画生成モデルを提案する。これらのストロークは、物体の動きをガイドする。過去、現在、未来の状態を分離し、自己符号化と敵対的訓練を用いることで、MNIST、KTH、Human3.6Mを含む多様なデータセットにおいて、現実的で時間的に一貫性のあるアニメーションを生成する。

ABSTRACT

We present a method to generate a video sequence given a single image. Because items in an image can be animated in arbitrarily many different ways, we introduce as control signal a sequence of motion strokes. Such control signal can be automatically transferred from other videos, e.g., via bounding box tracking. Each motion stroke provides the direction to the moving object in the input image and we aim to train a network to generate an animation following a sequence of such directions. To address this task we design a novel recurrent architecture, which can be trained easily and effectively thanks to an explicit separation of past, future and current states. As we demonstrate in the experiments, our proposed architecture is capable of generating an arbitrary number of frames from a single image and a sequence of motion strokes. Key components of our architecture are an autoencoding constraint to ensure consistency with the past and a generative adversarial scheme to ensure that images look realistic and are temporally smooth. We demonstrate the effectiveness of our approach on the MNIST, KTH, Human3.6M, Push and Weizmann datasets.

研究の動機と目的

• 1枚の静止画像を用いて、動きのストロークを制御信号として動画合成を可能にすること。
• 画像アニメーションにおける多様で任意の動きの可能性に起因する課題に対処すること。
• 生成された動画シーケンスにおける時間的一致性と視覚的リアリズムを保証すること。
• 過去、現在、未来の状態を明示的に分離する、トレーニングに適したアーキテクチャを設計すること。
• 人間の動きや物体のダイナミクスを含む多様なデータセットにわたる一般化を示すこと。

提案手法

• 本手法は、トレーニングと生成の安定性を向上させるために、ネットワークの隠れ状態を過去、現在、未来のコンponentsに明示的に分離する新しい再帰的アーキテクチャを採用する。
• 動きのストロークは、他の動画からのバウンディングボックス追跡によって得られる制御信号として用いられ、入力画像内の物体の動きの方向を定義する。
• 過去のフレームを再構築することで、以前に生成されたフレームとの視覚的一致性を維持するため、自己符号化制約が適用される。
• 視覚的リアリズムを向上させ、生成された動画フレームの時間的滑らかさを保証するため、生成的敵対ネットワーク（GAN）損失が用いられる。
• 再構築と敵対的目的の両方を用いて、エンドツーエンドでトレーニングされ、忠実度と多様性のバランスが取られる。
• アーキテクチャは、1枚の画像と動きのストロークシーケンスから、任意の数のフレームを生成することが可能である。

実験結果

リサーチクエスチョン

• RQ1 1枚の画像と動きのストロークによって、長時間で現実的な動画シーケンスを生成できるか？
• RQ2 明示的な状態分離を備えた再帰的アーキテクチャは、動画生成における長期的な時間的依存関係をどれほど効果的にモデル化できるか？
• RQ3 自己符号化と敵対的訓練の組み合わせが、視覚的品質と時間的一致性をどの程度向上させるか？
• RQ4 本手法は、異なる動きのパターンと物体タイプを持つ多様なデータセットに一般化できるか？
• RQ5 他の動画から得た動きのストロークは、新しい画像のアニメーション制御にどれほど効果的に転送できるか？

主な発見

• 提案手法は、1枚の画像と動きのストローク入力から、強力な時間的一致性を示す長時間の動画シーケンスを効果的に生成する。
• 過去、現在、未来の状態の明示的分離により、再帰的ネットワークの安定的かつ効果的なトレーニングが可能になる。
• 自己符号化制約は、過去のコンテンツを保持することで、生成されたフレーム間の視覚的一致性を顕著に向上させる。
• 敵対的訓練方式により、リアリズムと時間的滑らかさが向上し、視覚的に妥当なアニメーションが生成される。
• MNIST（数字の動き）、KTH（動作シーケンス）、Human3.6M（人間の動き）、Push（物体の押し込み）、Weizmann（人間の動作）を含む多様なデータセットに、良好な一般化性能を示す。
• 推論時に真の動画ラベルを必要とせず、動きのストローク制御のみに依存して、高品質な動画合成を達成する。