[論文レビュー] Learning Temporal Transformations From Time-Lapse Videos

Yipin Zhou, Tamara L. Berg|arXiv (Cornell University)|Aug 27, 2016

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 4

ひとこと要約

本論文は、自己符号化器、GAN、再帰的ネットワークを用いて、時間遅延動画における長期的時間的変換を予測する深層学習モデルを提案する。生成された将来のオブジェクト状態の質と人間の好みを、ベースラインと比較して顕著に向上させるために、敵対的学習とファインチューニングを導入した。4つの変換（融解、開花、焼き加減、腐敗）を含む1,463本の時間遅延動画からなる新規データセットを提供し、その有効性を示した。

ABSTRACT

Based on life-long observations of physical, chemical, and biologic phenomena in the natural world, humans can often easily picture in their minds what an object will look like in the future. But, what about computers? In this paper, we learn computational models of object transformations from time-lapse videos. In particular, we explore the use of generative models to create depictions of objects at future times. These models explore several different prediction tasks: generating a future state given a single depiction of an object, generating a future state given two depictions of an object at different times, and generating future states recursively in a recurrent framework. We provide both qualitative and quantitative evaluations of the generated results, and also conduct a human evaluation to compare variations of our models.

研究の動機と目的

• 視覚的観察から長期的オブジェクト変換を予測する計算モデルの開発。人間の物理的変化の直感的理解を模倣することを目的とする。
• 数分から数日という長い時間スケールで自然かつ連続的な変換（例：融解、腐敗）を動画データを用いてモデル化する課題に対処すること。
• 定量的指標、人間の好みの評価、学習された運動パターンの可視化を通じて、モデルの性能を評価すること。
• 敵対的学習および事前学習／ファインチューニングの有効性を、将来状態予測における生成品質の向上の観点から検討すること。

提案手法

• 1枚の入力画像から将来のオブジェクト状態を生成する自己符号化器ベースのアーキテクチャを訓練し、時間ステップ予測のための条件付きラベルを付与した。
• 2つの入力フレームを、変動する時間間隔で分離して入力とし、その2倍の時間間隔での状態を予測する2スタックモデルを導入した。
• 再帰的ニューラルネットワークを用いて、1枚の初期画像から繰り返し複数の将来フレームを生成することで、長時間予測を可能にした。
• 生成モデルのリアルさを向上させるために、生成器とともに識別器ネットワークを学習する生成的敵対的ネットワーク（GAN）を適用した。
• 大規模な再構成データセットでの事前学習を実施し、その後時間遅延データでファインチューニングすることで、一般化性能と性能を向上させた。
• 入力画像と生成画像間のオプティカルフローを計算し、フローをクラスタリングすることで、空間的傾向を明らかにする可視化手法を用いた。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、多様な物理的変換を含む時間遅延動画から、将来のオブジェクト状態を正確に予測できるか？
• RQ2 敵対的学習および事前学習／ファインチューニングは、標準的な自己符号化器と比較して、生成された将来状態のリアルさと正確性をどのように向上させるか？
• RQ3 人間の観察者は、モデルが生成した将来状態をどの程度好むか。また、異なるアーキテクチャ間での人間評価での比較はどのようになるか？
• RQ4 モデルはどのような基本的な運動パターンと空間的傾向を学習しているか。また、オプティカルフロー解析により、それらを意味的に可視化できるか？

主な発見

• p_g_mse+adv+ft法（事前学習およびファインチューニングを施した生成的敵対的ネットワーク）は、2者比較での生成結果選択率が38.2％に達し、ベースライン（13.2％）を顕著に上回った。
• 2スタック生成において、p_g_mse+adv+ft法は腐敗状態の予測で43.2％の選択率を記録し、全手法の中で最高を記録した。
• 再帰的生成において、p_g_mse+adv+ft法は38.2％の選択率を達成し、長時間予測において優れた性能を示した。
• ファインチューニングにより画像検索の正確性が向上した：p_g_mse+adv+ftではトップ1正答率が90％に達したのに対し、p_mse+advでは68％であった。
• オプティカルフローの可視化により、一貫した空間的傾向が明らかになった：開花では外向きの拡大（x軸フロー）、融解では下向きの収縮（y軸フロー）、焼き加減では縦方向の膨張、腐敗では上半身の膨張または脱水が観察された。
• 全変換にわたる平均再構成誤差は、再帰的生成におけるp_g_mse+adv+ft法で0.3815にまで低下し、モデルの忠実性が向上したことが示された。