[論文レビュー] RPGAN: GANs Interpretability via Random Routing

Andrey Voynov, Artem Babenko|arXiv (Cornell University)|Dec 23, 2019

Anomaly Detection Techniques and Applications参考文献 32被引用数 8

ひとこと要約

RPGANは、従来のノイズベースの確率的要因を、各生成器層の複数の並列インスタンスを経由するランダムルーティングに置き換えることで、新たなGANアーキテクチャを提案する。これにより、学習された特徴の非教師付き解釈可能性が可能となり、異なる層がそれぞれ異なる変動要因（例：形状、色、位置）を捉えていることが明らかになった。同時に、競争力ある生成品質を達成し、完全な再訓練を伴わずに効率的な段階的学習が可能である。

ABSTRACT

In this paper, we introduce Random Path Generative Adversarial Network (RPGAN) -- an alternative design of GANs that can serve as a tool for generative model analysis. While the latent space of a typical GAN consists of input vectors, randomly sampled from the standard Gaussian distribution, the latent space of RPGAN consists of random paths in a generator network. As we show, this design allows to understand factors of variation, captured by different generator layers, providing their natural interpretability. With experiments on standard benchmarks, we demonstrate that RPGAN reveals several interesting insights about the roles that different layers play in the image generation process. Aside from interpretability, the RPGAN model also provides competitive generation quality and allows efficient incremental learning on new data.

研究の動機と目的

• GANに対して非教師付きでデータに依存しない解釈可能性ツールが不足している問題に対処すること。GANは他の場合、ブラックボックスとして扱われる。
• ラベル付きデータや事前学習モデルを必要とせずに、個々の生成器層が画像生成にどのように寄与しているかを分析できること。
• 生成器の確率的ルーティング機構に構造的な変更を加えることで、自然に解釈可能性をサポートするGANアーキテクチャを設計すること。
• 複数の層インスタンスを経由するランダムルーティングが、競争力ある生成品質を達成し、効率的な段階的学習を可能にすることを実証すること。

提案手法

• RPGANは、標準的なガウスノイズ入力を、推論時に各生成器層の複数の並列コピーから1つを選択するランダムルーティング機構に置き換える。
• 各生成器層は、複数の同一だが独立に学習された層インスタンスを含む「バケツ」として実装され、各順方向伝播で1つのインスタンスがランダムに選択される。
• モデルは標準的なGANフレームワークで訓練され、識別器が本物の画像とランダムルーティングを経由して生成された画像を区別する adversarial loss を使用する。
• 解釈可能性は、個々の層インスタンスの挙動を分析することで達成される。インスタンス間で一貫した出力が得られる場合、安定した学習済み特徴を示し、変動がある場合は特定の変動要因を示す。
• 新しい層インスタンスを追加し、それらのみを微調整することで、段階的学習が可能になる。完全な再訓練を回避できる。
• 驚くべき発見として、RPGANは非線形項を一切使用せずに、線形変換のみで高品質な画像生成が可能であり、行列圧縮により顕著な高速化が達成できる。

実験結果

リサーチクエスチョン

• RQ1 教師付き学習や事前学習モデルに依存せずに、GANにおける個々の生成器層の役割をどのように解釈できるか？
• RQ2 複数の層インスタンスを経由するランダムルーティングは、画像生成における変動要因の分離を自然に実現できるか？
• RQ3 RPGANアーキテクチャは、解釈可能性と効率的な段階的学習を可能にしつつ、競争力ある生成品質を維持できるか？
• RQ4 非線形項を一切使用せずに、GAN生成器を効果的に学習できるか？その場合、推論速度とモデル圧縮にどのような影響があるか？

主な発見

• RPGANは、異なる生成器層が物体の形状、色、空間的配置といった異なる変動要因を担っていることを明確に示した。これは教師付き手法の結果と整合的だが、ラベルの必要がない。
• 全結合生成器を用いて非線形項を一切使用しない場合、CIFAR-10で22.79のFrechet Inception Distance (FID) を達成し、競争力ある生成品質を示した。
• MNISTにおける段階的学習は、事前学習済みサブセットの後に10個の新しい層インスタンスを学習するだけで達成され、完全なデータセットに一般化するモデルが最小限の再訓練で得られた。
• ランダムな積の組み合わせにより、全結合層のシーケンスを1つの線形変換に圧縮することで、RPGANは推論時間に2.2倍の高速化を達成し、画像の多様性に顕著な損失を生じさせなかった。
• ランダムルーティング機構により、生成器の内部表現の自然な解釈可能性が実現され、特定の画像属性に寄与する層インスタンスを特定できるようになった。