[論文レビュー] Synthesising Dynamic Textures using Convolutional Neural Networks

Christina M. Funke, Leon A. Gatys+2 more|arXiv (Cornell University)|Feb 22, 2017

Generative Adversarial Networks and Image Synthesis参考文献 11被引用数 13

ひとこと要約

本稿では、事前学習済み畳み込みニューラルネットワーク（CNN）から得られる時空間要約統計を用いて、再訓練を伴わずに動的テクスチャを合成するパrametricモデルを提案する。静的テクスチャ合成におけるGram行列アプローチを、複数フレームにわたる時間的相関を含める形に拡張することで、わずか2フレームの初期状態からでさえ、多様で一貫性のある運動を生成可能であるが、全体的に一貫性のある構造的運動には苦労する。

ABSTRACT

Here we present a parametric model for dynamic textures. The model is based on spatiotemporal summary statistics computed from the feature representations of a Convolutional Neural Network (CNN) trained on object recognition. We demonstrate how the model can be used to synthesise new samples of dynamic textures and to predict motion in simple movies.

研究の動機と目的

• 各テクスチャに対して新しいネットワークを訓練する必要のない、一般化可能でパrameter効率の良い動的テクスチャ合成モデルの開発。
• 事前学習済みCNNの時空間統計が、動的映像テクスチャ内の複雑な運動パターンを捉えられるかの調査。
• 一貫した長時間の動的テクスチャを生成するために必要な最小限の時間的文脈（例：2フレーム）の特定。
• 生成動画における運動の一貫性と構造的ダイナミクスの保持能力の評価。
• 既存のCNNベースの動的テクスチャ生成手法と比較しての本手法の性能評価。

提案手法

• 本手法は、事前学習済みCNN（VGG-19）のΔt個の連続フレームの特徴マップを連結することで、大きな特徴行列を構築する。
• この連結された行列から1つのGram行列を計算し、空間的および時間的相関（最大Δt次まで）を同時に符号化する。
• 最終的なモデルでは、入力動画全体のすべてのサイズΔtの時間ウィンドウに対して平均化されたGram行列を用い、時空間統計を捉える。
• 新しいフレームは、白ノイズから開始する勾配ベースの最適化により生成され、ターゲットGram行列と一致するように損失関数を最小化する。
• 損失関数は、生成フレームの時空間特徴統計と、ソース動画から抽出された統計との類似性を強制する。
• 初期フレームのランダム初期化と、ソース動画からの実際のフレームを用いた初期化の両方をサポートし、動画予測を可能にする。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNNの特徴マップから得られる時空間統計は、再訓練を伴わずして動的テクスチャを効果的にモデル化できるか？
• RQ2 一貫した長時間の動的テクスチャを生成するために、十分な時間的統計を抽出するために必要な最小フレーム数はどの程度か？
• RQ3 例えば揺れる木の枝のような構造的動的テクスチャにおいて、モデルはどの程度のグローバルな運動の一貫性を保持できるか？
• RQ4 時間ウィンドウサイズΔtを増加させることで、生成テクスチャのリアリズムと多様性はどのように変化するか？
• RQ5 実際のフレームをソース動画から初期化することで、モデルは動画シーケンスの将来のフレームを予測できるか？

主な発見

• わずか2フレームの初期状態からでも、多様で視覚的に妥当な動的テクスチャを生成でき、最小限の時間的文脈でも一貫性のある運動合成が可能であることを示した。
• 42フレームで学習した場合、2フレームのみで学習した場合に比べ、生成テクスチャのエントロピーが低く、視覚的品質が向上しており、安定性とリアリズムの向上が確認された。
• 揺れる木の枝のような構造的運動では、Δtを2から4に増加させることで、捉えられる運動の範囲が広がったが、すべての葉が同時に動くようなグローバルな一貫性は再現できなかった。
• 繰り返しフレームを合成することで、600フレーム以上にわたって劣化のない一貫した画像品質を維持した、任意長の動画生成が可能である。
• ソース動画からの実際のフレームを初期化に用いることで、例えばサルがシーンを飛び交うような将来の運動を正確に予測でき、方向性と連続性を保持した。
• 多くの動的テクスチャにおいて優れた性能を示したが、グローバルに一貫した運動の複雑な時間的依存関係を捉えられていないことから、主な限界が判明した。