[論文レビュー] InfoGAN-CR: Disentangling Generative Adversarial Networks with Contrastive Regularizers

Zinan Lin, Kiran Koshy Thekumparampil+2 more|arXiv (Cornell University)|Jun 14, 2019

Generative Adversarial Networks and Image Synthesis被引用数 17

ひとこと要約

本稿では、潜在変動に基づくインspirationを受けて開発された対照的正則化子を用いた自己教師あり手法であるInfoGAN-CRを紹介する。この手法は、教師なしラベルがなくても、最先端の分解能スコアを達成する、分離可能な生成対抗ネットワーク（GAN）の訓練を可能にする。さらに、合成サンプルのメドイドを用いて高パフォーマンスなモデルを特定する、教師なしモデル選択手法ModelCentralityを提案する。これにより、ラベルなし環境下でも効果的なハイパーパramータチューニングが可能となる。

ABSTRACT

Disentangled generative models map a latent code vector to a target space, while enforcing that a subset of the learned latent codes are interpretable and associated with distinct properties of the target distribution. Recent advances have been dominated by Variational AutoEncoder (VAE)-based methods, while training disentangled generative adversarial networks (GANs) remains challenging. In this work, we show that the dominant challenges facing disentangled GANs can be mitigated through the use of self-supervision. We make two main contributions: first, we design a novel approach for training disentangled GANs with self-supervision. We propose contrastive regularizer, which is inspired by a natural notion of disentanglement: latent traversal. This achieves higher disentanglement scores than state-of-the-art VAE- and GAN-based approaches. Second, we propose an unsupervised model selection scheme called ModelCentrality, which uses generated synthetic samples to compute the medoid (multi-dimensional generalization of median) of a collection of models. The current common practice of hyper-parameter tuning requires using ground-truths samples, each labelled with known perfect disentangled latent codes. As real datasets are not equipped with such labels, we propose an unsupervised model selection scheme and show that it finds a model close to the best one, for both VAEs and GANs. Combining contrastive regularization with ModelCentrality, we improve upon the state-of-the-art disentanglement scores significantly, without accessing the supervised data.

研究の動機と目的

• VAEベースの手法の進展にもかかわらず、依然として困難である分離可能な生成対抗ネットワーク（GAN）の訓練という課題に対処すること。
• 潜在変動の自然な概念を活用することで、教師なしの対照的正則化子を設計し、分離性を強制すること。
• 教師ありラベルに依存しないハイパーパramータチューニングを実現するため、教師なしモデル選択手法であるModelCentralityを導入すること。
• 教師ありアノテーションにアクセスできない状況下でも、ベンチマークデータセットで優れた分離能を達成すること。

提案手法

• 潜在変動の原則に基づき、トレーニング中に潜在コードの摂動を対照的に比較することで、分離性を促進する対照的正則化子を提案する。
• 同一の潜在コードの微小な摂動（ポジティブサンプル）を引き寄せ、離れたまたは関係のないコード（ネガティブサンプル）を遠ざける対照的損失関数を用いる。
• GANフレームワーク内に対照的正則化子を適用し、高品質な生成を維持しながら、分離可能なサンプルを生成するジェネレータを訓練する。
• 複数のモデルが生成する合成サンプルのセットに対して、メドイド（多次元中央値）を計算することで、教師なしモデル選択技術であるModelCentralityを導入する。
• 合成サンプルのメドイドを用いて、最適な分離表現に最も近いモデルを特定し、教師なしラベルなしでハイパーパramータ選択を可能にする。
• 対照的正則化子とModelCentralityを組み合わせることで、自己教師ありの方法で分離可能なGANのトレーニングと選択をエンドツーエンドで実現する。

実験結果

リサーチクエスチョン

• RQ1 潜在変動に基づく対照的正則化子は、教師なしラベルがなくても、GANにおける分離性を向上させることができるか？
• RQ2 提案手法であるModelCentralityは、教師ありベースラインと比較して、高パフォーマンスな分離モデルの選択においてどの程度有効であるか？
• RQ3 対照的正則化と教師なしモデル選択を組み合わせることで、最先端のVAEおよびGANベースの分離手法を上回る性能を達成できるか？
• RQ4 自己教師あり学習は、ラベルなし環境下で分離可能なGANの訓練という課題をどの程度軽減できるか？

主な発見

• InfoGAN-CRは、ベンチマークデータセットで最先端の分離能スコアを達成し、SOTAのVAEベースおよびGANベースの手法を上回った。
• 対照的正則化子は、潜在変動による意味的かつ解釈可能な分離性を促進することで、分離性を顕著に向上させた。
• ModelCentralityは、教師なしラベルがなくても、最適な分離構成に近いモデルを効果的に特定できた。
• 対照的正則化子とModelCentralityの組み合わせにより、完全に教師なしの環境下でも効果的なハイパーパramータチューニングが可能になった。
• 本手法は、いかなる教師ありデータにも依存せず、自己教師あり学習の表現学習における強力さを示した。