[論文レビュー] Temporal Generative Adversarial Nets with Singular Value Clipping

Masaki Saito, Eiichi Matsumoto+1 more|arXiv (Cornell University)|Nov 21, 2016

Generative Adversarial Networks and Image Synthesis参考文献 45被引用数 35

ひとこと要約

本稿では、時間的生成対抗ネットワーク（TGAN）を提案する。TGANは、時間的生成器と画像生成器の2ストリーム生成器アーキテクチャであり、ラベルなしデータから動画表現を共同で学習する。Wasserstein GANと特異値クリッピング（SVC）を統合することで、安定した学習が実現され、高品質で多様な動画が生成され、UCF-101および移動MNISTベンチマークにおいて、インセプションスコアおよび対抗的メトリクスの両面で先行する3D GANを上回る。

ABSTRACT

In this paper, we propose a generative model, Temporal Generative Adversarial Nets (TGAN), which can learn a semantic representation of unlabeled videos, and is capable of generating videos. Unlike existing Generative Adversarial Nets (GAN)-based methods that generate videos with a single generator consisting of 3D deconvolutional layers, our model exploits two different types of generators: a temporal generator and an image generator. The temporal generator takes a single latent variable as input and outputs a set of latent variables, each of which corresponds to an image frame in a video. The image generator transforms a set of such latent variables into a video. To deal with instability in training of GAN with such advanced networks, we adopt a recently proposed model, Wasserstein GAN, and propose a novel method to train it stably in an end-to-end manner. The experimental results demonstrate the effectiveness of our methods.

研究の動機と目的

• 静的背景の仮定に依存せずに、ラベルなしデータから多様で高品質な動画を生成する課題に対処すること。
• 特に複雑な時間的および3次元アーキテクチャを用いる際の、深層GANにおける学習不安定性を克服すること。
• エンドツーエンドの動画生成器の学習を安定化させ、一般化性能を向上させる手法を開発すること。
• 潜在空間の分離モデリングにより、フレーム補間やその他の動画生成タスクへの自然な拡張を可能にすること。
• WGAN学習におけるハイパーパramータ感受性を解消するため、安定した最適化を実現する新しいクリッピング手法を導入すること。

提案手法

• 生成器は2つのコンponentに分解される：1つの潜在ベクトルを時間的フレーム固有の潜在コードの系列にマップする時間的生成器、およびこれらのコードから動画フレームを合成する画像生成器。
• 識別器は3次元畳み込み層を用い、チャネル×時間×高さ×幅のテンソル形式で、実際の動画クリップと生成された動画クリップを評価する。
• 学習の安定化のために、Wasserstein GANに勾配ペナルティを適用し、標準のGAN損失の代わりに、地球距離を最小化する批判者ベースの目的関数を採用する。
• 批判者のリプシッツ制約を満たすために、批判者の重み行列の特異値をクリッピングする、新しい特異値クリッピング（SVC）手法を導入し、WGANで一般的に用いられる標準的な重みクリッピングに代わる。
• SVCはバックプロpagation中に適用され、勾配の安定性を維持し、ハイパーパramータチューニングへの感受性を低減する。
• 生成器にクラス事前分布を組み込むことで、条件付き生成を可能にし、アクション条件付きの動画合成を実現する。

実験結果

リサーチクエスチョン

• RQ1 時間的生成器＋画像生成器の分離された2ストリーム生成器アーキテクチャは、エンドツーエンドの3次元デコンボリューション GAN よりも動画生成品質を向上させることができるか？
• RQ2 提案された特異値クリッピング（SVC）手法は、複雑な動画生成タスクにおけるWGANの学習安定性を顕著に改善するか？
• RQ3 TGANモデルは、静的背景に関する事前仮定なしに、多様で現実的である動画シーケンスを生成できるか？
• RQ4 ベンチマークデータセットにおいて、提案手法は既存のGANと比較してインセプションスコアおよび生成的対抗メトリクス（GAM）の両面で優れているか？
• RQ5 TGANフレームワークは、フレーム補間や条件付き動画生成への応用にどの程度自然に拡張可能か？

主な発見

• UCF-101データセットでは、SVCを用いたTGANがインセプションスコア11.85 ± 0.07を達成し、3D GAN（4.78 ± 0.02）およびVideo GAN（8.31 ± 0.09）の各バリアントを上回った。
• SVCを用いた条件付きTGANは、インセプションスコア15.83 ± 0.18を達成し、実データの上限（34.49 ± 0.03）に近づいた。
• 移動MNISTベンチマークでは、TGANがGAMスコア1.27を達成し、3Dモデル（1.03）および他のベースラインを著しく上回った。
• 提案された特異値クリッピング（SVC）手法はハイパーパラメータ感受性を低減し、従来の重みクリッピングが失敗した場合でも安定した学習を可能にした。
• 定性的な結果から、TGANはより多様で現実的である動画シーケンスを生成し、滑らかな運動と妥当な物体ダイナミクスを再現している。
• 分離されたアーキテクチャは、時間的生成器が欠落したフレーム用の途中潜在状態を生成できるため、フレーム補間に自然に適合する。