[論文レビュー] Theoretical limitations of Encoder-Decoder GAN architectures

Sanjeev Arora, Andrej Risteski+1 more|arXiv (Cornell University)|Nov 7, 2017

Generative Adversarial Networks and Image Synthesis参考文献 4被引用数 15

ひとこと要約

この論文は、モード崩壊を軽減し、意味のある特徴を学習することを目的としたエンコーダデコーダ GAN アーキテクチャが、生成器が低サポートの分布（深刻なモード崩壊）を出力し、エンコーダが本質的にホワイトノイズにマップする状況でも、ほぼ最適な訓練目的関数に到達できることを示している。理論的分析から、訓練目的関数そのものでは、こうした病理的解を防げないことが明らかになった。これは、実用的成功が、目的関数に反映されていないインダクティブバイアスや最適化ダイナミクスに起因していることを示唆している。

ABSTRACT

Encoder-decoder GANs architectures (e.g., BiGAN and ALI) seek to add an inference mechanism to the GANs setup, consisting of a small encoder deep net that maps data-points to their succinct encodings. The intuition is that being forced to train an encoder alongside the usual generator forces the system to learn meaningful mappings from the code to the data-point and vice-versa, which should improve the learning of the target distribution and ameliorate mode-collapse. It should also yield meaningful codes that are useful as features for downstream tasks. The current paper shows rigorously that even on real-life distributions of images, the encode-decoder GAN training objectives (a) cannot prevent mode collapse; i.e. the objective can be near-optimal even when the generated distribution has low and finite support (b) cannot prevent learning meaningless codes for data -- essentially white noise. Thus if encoder-decoder GANs do indeed work then it must be due to reasons as yet not understood, since the training objective can be low even for meaningless solutions.

研究の動機と目的

• BiGAN や ALI のようなエンコーダデコーダ GAN が、理論的にモード崩壊を防ぎ、意味のある潜在表現を学習できるかを調査すること。
• これらのアーキテクチャの訓練目的関数が、分布の忠実性と意味的に意味のある特徴を本当に強制しているかを特定すること。
• ジェネレータとエンコーダの共同目的関数が、有限サポートのジェネレータやランダムな符号化といった退化解に対して理論的保証を提供するかを分析すること。
• 標準 GAN に関する先行理論的結果を、より複雑なエンコーダデコーダ設定に拡張し、こうしたアーキテクチャが同様の制限を回避するかを明らかにすること。

提案手法

• ジェネレータが画像上に有限サポートの分布を学習する一方で、エンコーダが実画像を、潜在コードの非干渉的集合を介してランダムノイズにマップする理論的枠組みを構築する。
• ペaired（画像、潜在コード）入力を処理するディスクラミネータを定義し、McDiarmid の不等式を用いた濃縮の議論により、構築された分布下で期待ディスクラミネータスコアが最適に近いままであることを示す。
• 有界サイズのディスクラミネータのエpsilon ネットと和集合の不等式を用いて、すべての可能な有界サイズのディスクラミネータに一様に成立するように保証する。
• 実データ分布下でのディスクラミネータ出力の期待値が、ジェネレータ出力分布下でも同じであることを示す。これは、ジェネレータがサポートを非常に小さくした場合でも成立する。
• 非干渉的潜在コード集合は、ブロック上の一様分布から独立にサンプリング可能であるという事実を活用し、測度の濃縮に関する議論を可能にする。
• ジェネレータの出力が O(p log p / ε²) 枚の画像にのみサポートを持つ場合でも、期待される訓練目的関数がほぼ最適に保たれることを示す。ここで p はディスクラミネータのサイズを表す。

実験結果

リサーチクエスチョン

• RQ1 エンコーダデコーダ GAN は、実際の画像分布を想定した場合でも、共同訓練目的関数によってモード崩壊を防げるのか？
• RQ2 エンコーダデコーラ GAN の訓練目的関数は、意味のある非ランダムな潜在表現を強制するのに十分か？
• RQ3 標準 GAN の理論的保証は、エンコーダデコーダアーキテクチャに拡張可能か、それとも同様の根本的制限に直面するのか？
• RQ4 ジェネレータが有限で小さなサポートを持つ場合、およびエンコーダが本質的にホワイトノイズを出力する場合でも、ほぼ最適な訓練目的関数を達成できるか？
• RQ5 目的関数が退化解を除外しない場合、エンコーダデコーダ GAN が実用的に機能する理論的メカニズムは何か？

主な発見

• エンコーダデコーダ GAN の訓練目的関数は、ジェネレータ出力分布のサポートが O(p log p / ε²) の有限サイズであっても、ほぼ最適に保たれる。これは、深刻なモード崩壊が可能であることを示している。
• エンコーダを、実画像をホワイトノイズにマップするように構築可能であり、訓練目的関数下でほぼ最適な解を達成できることを示しており、意味のある特徴学習が強制されていないことを示している。
• 実データ分布下でのディスクラミネータ出力の期待値が、ジェネレータ出力分布下でも同じである。これは、ジェネレータがわずか数枚の異なる画像しか出力しない場合でも成立する。
• McDiarmid の不等式と非干渉的集合構築を用いた測度の濃縮議論により、ランダムなジェネレータおよび潜在コードサンプルに対して、目的関数が安定に保たれることを保証する。
• エpsilon ネットと和集合の不等式により、有界サイズのすべてのディスクラミネータに一様に成立する。これは、Arora 他 (2017) の手法をエンコーダデコーダ設定に拡張したものである。
• 理論的分析から、訓練目的関数そのものでは退化解を防げないことが明らかになった。これは、実用的成功が、目的関数に反映されていないインダクティブバイアスや最適化ダイナミクスに依存していることを示唆している。