[論文レビュー] Generative Adversarial Networks for Image and Video Synthesis: Algorithms and Applications

Ming-Yu Liu, Xun Huang+3 more|arXiv (Cornell University)|Aug 6, 2020

Advanced Image Processing Techniques参考文献 250被引用数 33

ひとこと要約

この論文は、画像と動画の合成のための GANs の包括的な概要を提供し、トレーニングの安定化技術、アーキテクチャ、および画像翻訳からニューラルレンダリングまでの幅広い応用を詳述します。

ABSTRACT

The generative adversarial network (GAN) framework has emerged as a powerful tool for various image and video synthesis tasks, allowing the synthesis of visual content in an unconditional or input-conditional manner. It has enabled the generation of high-resolution photorealistic images and videos, a task that was challenging or impossible with prior methods. It has also led to the creation of many new applications in content creation. In this paper, we provide an overview of GANs with a special focus on algorithms and applications for visual synthesis. We cover several important techniques to stabilize GAN training, which has a reputation for being notoriously difficult. We also discuss its applications to image translation, image processing, video synthesis, and neural rendering.

研究の動機と目的

• 柔軟でデータ駆動型の画像と動画合成を unconditional および conditional の設定の両方で推進するための GANs の利用を動機づける。
• 安定化技術とトレーニングダイナミクスを調査して、一般的な GAN の失敗を克服する。
• 生成器と識別器のアーキテクチャの進化を要約して、質と制御性を改善。
• 画像翻訳、画像処理、動画合成、ニューラルレンダリングを含む GAN ベースの応用をレビュー。

提案手法

• 識別器と生成器の更新で使用される GAN ロス関数と目的関 formulations の説明と比較。
• 同時学習と交互学習のトレーニングスキームと最適化の選択肢（例：TTUR、ADAM、RMSProp）を説明。
• 正則化技術（勾配ペナルティ、スペクトral normalization、特徴マッチング、知覚損失、モデル平均化）を調査。
• 条件付きおよび projection ベースの識別器や条件付き活性化を含む生成器と識別器アーキテクチャの進化を辿る。
• 画像翻訳フレームワーク（監視付きおよび教師なし）とマルチモーダル/多様な翻訳アプローチ（例：CycleGAN、UNIT、MUNIT、StarGAN、SPADE）を議論。

実験結果

リサーチクエスチョン

• RQ1 安定した画像と動画合成を生み出す主要な GAN ロスとトレーニングダイナミクスは何か？
• RQ2 品質、制御性、効率性を改善するために生成器と識別器のアーキテクチャはどのように進化したか？
• RQ3 監視付きおよび教師なし設定での最先端の画像間翻訳アプローチにはどのようなものがあり、多モーダル出力を含む？
• RQ4 GANsを画像処理とニューラルレンダリングタスクに適用するにはどうすればよく、制限は何か？
• RQ5 正則化技術とトレーニングスキームが実際のGANの安定性と性能にどのように影響するか？

主な発見

• GANsは無条件および条件付き設定で現実的な画像と動画を生成するための柔軟でデータ駆動型の目的を提供する。
• 勾配ペナルティ、スペクトral normalization、特徴マッチング、知覚損失、モデル平均化などのさまざまな安定化技術は、トレーニングの信頼性と出力品質を向上させる。
• 条件付きアーキテクチャ（条件付き正規化、条件付き畳み込み、投影識別器）は、ラベル付きまたはペアデータ上での制御性と性能を高める。
• 画像間翻訳は、監視付き（pix2pix）から無監督（CycleGAN、UNIT、StarGAN）へと進化しており、マルチモーダルおよび例ガイド変種（MUNIT、FUNIT、SPADE）を含む。
• MLPから深い畳み込み/残差生成器と識別器への明確なアーキテクチャの進化があり、正規化と条件化メカニズムの進歩によって継続的に改善が進んでいる。