[論文レビュー] Learning to Take Directions One Step at a Time

Qiyang Hu, Adrian Wälchli+3 more|arXiv (Cornell University)|Dec 5, 2018

Generative Adversarial Networks and Image Synthesis参考文献 45被引用数 6

ひとこと要約

本論文は、方向性制御信号としての動きのストロークの系列を用いて、1枚の画像をアニメーション化する新しい再帰的動画生成フレームワークを提案する。自己符号化された状態表現と切り捨てられた逆誤差伝搬訓練方式を活用することで、劣化を伴わず、長時間にわたる時間的に整合性があり現実的な動画シーケンスを生成する。MNIST、KTH、Human3.6M、Push、Weizmannのデータセットにおいて、定性的および定量的な評価で先行手法を上回っている。

ABSTRACT

We present a method to generate a video sequence given a single image. Because items in an image can be animated in arbitrarily many different ways, we introduce as control signal a sequence of motion strokes. Such control signal can be automatically transferred from other videos, e.g., via bounding box tracking. Each motion stroke provides the direction to the moving object in the input image and we aim to train a network to generate an animation following a sequence of such directions. To address this task we design a novel recurrent architecture, which can be trained easily and effectively thanks to an explicit separation of past, future and current states. As we demonstrate in the experiments, our proposed architecture is capable of generating an arbitrary number of frames from a single image and a sequence of motion strokes. Key components of our architecture are an autoencoding constraint to ensure consistency with the past and a generative adversarial scheme to ensure that images look realistic and are temporally smooth. We demonstrate the effectiveness of our approach on the MNIST, KTH, Human3.6M, Push and Weizmann datasets.

研究の動機と目的

• 直感的な動きのストロークの系列を制御信号として用いて、1枚の静止画像から制御可能な動画生成を可能にすること。
• 時間的整合性と視覚的現実性を保ちながら、劣化を伴わず長期間にわたる動画生成の課題に取り組むこと。
• 完全なBPTT（誤差逆伝搬法）を必要とせず、1ステップの切り捨てられた時間方向逆伝搬による効率的な訓練を可能にする再帰的アーキテクチャを設計すること。
• 剛体および非剛体運動を含む多様な動きに一般化すること。
• 複数の入力フレームを必要とするモデルと同等の高 perceptual 質量と運動の妥当性を達成すること、1枚の画像のみを入力として使用しているにもかかわらず

提案手法

• 入力状態に初期画像の符号化、現在のフレーム、完全な動きの経路、次の動きステップを含む、新しいRNNアーキテクチャを採用する。
• 自己符号化器コンponentが各フレームの潜在表現を明示的にモデル化し、状態空間を制約し、過去のフレームと整合性を保証する。
• 現在の状態に基づいて次のフレームの潜在コードを予測することで、誤差の蓄積なしに長時間の動画生成を可能にする。
• 再構成損失を用いて生成フレームを正解フレームに一致させるとともに、敵対的損失と知覚的損失を組み合わせて、現実性と時間的滑らかさを向上させる。
• 動きのストロークは、ボクシングボックス追跡によりソース動画から抽出され、自動的に動きの制御信号を転送可能になる。
• アーキテクチャは1ステップの切り捨てられた時間方向逆伝搬をサポートしており、効率的かつ安定した訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、動きのストロークの系列のみを制御信号として用いて、1枚の画像から長時間の現実的な動画シーケンスを生成できるか？
• RQ2 再帰的ネットワークは、劣化を伴わず、長期間にわたる動画生成において時間的整合性と視覚的品質をどのように維持できるか？
• RQ3 自己符号化された状態を備えた新しいRNNアーキテクチャは、切り捨てられた逆伝搬による効率的訓練を可能にしつつ、運動の妥当性を保てるか？
• RQ4 複数の入力フレームや制御性が低い入力を必要とする最先端手法と比較して、本モデルの性能はどの程度か？
• RQ5 本モデルは、分布外の動き経路にどの程度一般化できるか？また、さまざまな動きタイプを含むデータセットにおいて、どのように対処するか？

主な発見

• KTHデータセットでは、LPIPSスコアが0.09と最先端の性能を達成し、Liら（0.14）およびDentonら（0.11）を上回った。
• ポーズ滑らかさ評価において、走るを除くすべての動きカテゴリで、関節移動量の平均と標準偏差が最小（歩行時：7.2% および 7.7%）であった。
• KTHシーケンスにおいて、オブジェクト検出率が87.1%に達し、Liら（54.9%）およびDentonら（54.2%）を大幅に上回った。これは、画像品質と動きの妥当性が優れていることを示している。
• 定性的な結果では、競合手法よりもシャープで現実的なフレームを生成しており、10枚の入力フレームを必要とするモデルと同等の性能を示したが、1枚の画像のみを入力として使用している。
• MNIST、KTH、Human3.6M、Push、Weizmannの多様なデータセットに一般化し、剛体および非剛体運動の両方に対して現実的なアニメーションを生成した。
• 任意長の出力が可能な制御可能な動画合成を成功裏に実現し、長時間の動画シーケンス生成における頑健性とスケーラビリティを示した。