[論文レビュー] Diversity-Sensitive Conditional Generative Adversarial Networks

Dingdong Yang, Seunghoon Hong+3 more|arXiv (Cornell University)|Jan 25, 2019

Generative Adversarial Networks and Image Synthesis被引用数 126

ひとこと要約

この論文は、条件付きGANの生成器のための単純な正則化を導入し、潜在コードに条件付けられた出力の多様性を促進して、画像変換、インペインティング、動画予測におけるモード崩壊を解決します。

ABSTRACT

We propose a simple yet highly effective method that addresses the mode-collapse problem in the Conditional Generative Adversarial Network (cGAN). Although conditional distributions are multi-modal (i.e., having many modes) in practice, most cGAN approaches tend to learn an overly simplified distribution where an input is always mapped to a single output regardless of variations in latent code. To address such issue, we propose to explicitly regularize the generator to produce diverse outputs depending on latent codes. The proposed regularization is simple, general, and can be easily integrated into most conditional GAN objectives. Additionally, explicit regularization on generator allows our method to control a balance between visual quality and diversity. We demonstrate the effectiveness of our method on three conditional generation tasks: image-to-image translation, image inpainting, and future video prediction. We show that simple addition of our regularization to existing models leads to surprisingly diverse generations, substantially outperforming the previous approaches for multi-modal conditional generation specifically designed in each individual task.

研究の動機と目的

• 条件付きGANで入力が決定的な出力に写るモード崩壊を動機づけ、対処する。
• 潜在コードに依存する多様な出力を促すシンプルな正則化を提案する。
• 正則化が複数の条件付きタスクで多モーダル生成を改善することを示す。
• ハイパーパラメータにより視覚品質と多様性の間のトレードオフを示す。

提案手法

• GとDの条件付きGAN目的を定義する。
• 正規化項Lzを追加し、2つの潜在コード間の正規化された潜在出力距離を最大化して、崩壊を単一モードに防ぐ。
• 全体の目的を形成する：min_G max_D LcGAN(G,D) - lambda Lz(G)。
• ディスクリミネータの特徴空間距離や他の指標でLzを拡張することがある。
• 正則化をさまざまなベースラインとタスクに適用して一般性を示す。
• lambdaが多様性と現実性のトレードオフを制御することを示す。

実験結果

リサーチクエスチョン

• RQ1 単純な生成器側正則化のみで、アーキテクチャの変更なしにcGAN出力に真のマルチモード性を誘発できるか。
• RQ2 多様性促進項Lzが既存の再構成損失とどう相互作用して現実性と多様性のバランスを取るか。
• RQ3 このアプローチはタスクやアーキテクチャ（画像→画像変換、インペインティング、動画予測）全体に一般化するか。
• RQ4 潜在コードの次元が多様性と出力品質に与える影響は何か。

主な発見

• 正則化はベースラインが決定論的な場合に、確率的で多様な出力を誘発する。
• lambdaを増やすとLPIPS多様性が上がり、FIDはある点まで低下し、品質と多様性のトレードオフを示す。
• DSGANは複数の指標でタスク固有の多モーダル手法を上回り、現実性を維持する。
• この手法は高解像度合成や他の損失項（例：ピクセル/特徴ベースの再構成）と互換性がある。
• Lzで知覚/特徴ベースの距離を使用するとインペインティング結果に意味のある変化が生じる。
• このアプローチは基準cGANよりも多様で現実的な動画予測を生成し、SAVPと競合する一方でパラメータ数が少ない。