[論文レビュー] Learning Dynamic Generator Model by Alternating Back-Propagation Through Time

Jianwen Xie, Ruiqi Gao+3 more|arXiv (Cornell University)|Dec 27, 2018

Generative Adversarial Networks and Image Synthesis参考文献 23被引用数 6

ひとこと要約

本稿では、動的テクスチャーや動作などの時空間的プロセスをモデル化する非線形ニューラルネットワークを用いた動的ジェネレータモデルを提案する。非線形の時空間的プロセスをモデル化するため、反復的にノイズベクトルをサンプリングし、勾配上昇によりパラメータを更新することで、遷移ネットワークとジェネレータネットワークを同時に学習する、時系列を逆方向に伝播させる交互勾配法（ABPTT）を導入した。これにより、GAN や VAE の推論ネットワークを必要とせず、現実的な動画生成を実現した。

ABSTRACT

This paper studies the dynamic generator model for spatial-temporal processes such as dynamic textures and action sequences in video data. In this model, each time frame of the video sequence is generated by a generator model, which is a non-linear transformation of a latent state vector, where the non-linear transformation is parametrized by a top-down neural network. The sequence of latent state vectors follows a non-linear auto-regressive model, where the state vector of the next frame is a non-linear transformation of the state vector of the current frame as well as an independent noise vector that provides randomness in the transition. The non-linear transformation of this transition model can be parametrized by a feedforward neural network. We show that this model can be learned by an alternating back-propagation through time algorithm that iteratively samples the noise vectors and updates the parameters in the transition model and the generator model. We show that our training method can learn realistic models for dynamic textures and action patterns.

研究の動機と目的

• 動的テクスチャーや人間の動作といった時空間的動画データを効果的にモデル化できる柔軟で非線形の生成モデルの開発。
• 複雑な運動パターンを捉えることができない線形モデルの限界を克服するため、線形マッピングを深層ニューラルネットワークに置き換え。
• 訓練における補助ネットワーク（判別器：GAN）や推論ネットワーク（VAE）の必要性を排除。
• 統一的で効率的な最適化フレームワークを用いて、遷移モデルと放出モデルのエンドツーエンド学習を可能に。
• 潜在変数推論を用いた動画補填（inpainting）および画像から動画への生成タスクにおけるモデルの能力を実証。

提案手法

• 各フレームが潜在状態ベクトルから上向きのデコンボリューションネットワーク（ジェネレータ）によって生成される非線形状態空間プロセスとして動画系列をモデル化。
• 現在の状態と独立したガウスノイズベクトルの非線形変換として状態遷移を定義し、前向きニューラルネットワークによってパrameter化。
• 時系列を逆方向に伝播させる交互勾配法（ABPTT）を適用：まず、対数後確率の勾配を用いてラングジュアンダイナミクスにより潜在ノイズベクトルを推論し、次に対数尤度に関する勾配上昇によりモデルパラメータを更新。
• 時系列を逆方向に伝播させることで、観測された動画系列に関して、遷移モデル（Fα）およびジェネレータモデル（Gβ）の両方の勾配を計算。
• 初期画像フレームをコンテンツおよび状態ベクトルにマッピングするエンコーダ（Eγ）を備えた条件付きバージョンを導入し、画像から動画生成を実現。
• エンコーダ、遷移モデル、ジェネレータを ABPTT を用いて同時に最適化する共同学習戦略を採用し、エンドツーエンド学習を可能に。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースの遷移関数と放出関数を備えた非線形動的ジェネレータモデルは、複雑な時空間的動画パターンを効果的にモデル化できるか？
• RQ2 ABPTT アルゴリズムは、判別器や推論ネットワークを必要とせず、このようなモデルを効率的かつ効果的に学習できるか？
• RQ3 潜在変数サンプリングによる推論を用いることで、ラベルのないコンテンツ（例：歩行する人物、動くボート）の欠落部分を効果的に再構成できるか？
• RQ4 単一の静止画像フレームを条件として用いることで、モデルは画像から動画生成に一般化できるか？
• RQ5 時系列を逆方向に伝播させる交互勾配法は、GAN や VAE を用いた代替手法と比較して、より安定的かつ現実的な動画生成を実現できるか？

主な発見

• ABPTT アルゴリズムは、動的テクスチャーや人間の動作シーケンスを含む実世界の動画データセット上で、動的ジェネレータモデルを効果的に学習した。
• モデルは、状態遷移と画像生成の両方において、複雑な非線形ダイナミクスを学習することで、現実的な動画シーケンスを生成した。
• 動画補填の結果、ラングジュアンダイナミクスを用いた潜在ノイズベクトルの推論により、欠落したコンテンツ（例：歩行する人物、動くボート）を効果的に再構成できた。
• 画像から動画への予測実験では、静止画像から一貫性のある時間的変化を示す自然な動きを生成し、妥当な運動生成を示した。
• 本手法は、敵対的訓練や複雑な推論ネットワークに依存せず、競争力のある性能を達成しており、その効率性とシンプルさが顕著に表れた。
• 背景補填や条件付き動画合成を含む多様な動画生成タスクにおいて、モデルは良好な一般化性能を示し、定性的な結果から強い視覚的妥当性が確認された。