[論文レビュー] Learning Disentangled Representation by Exploiting Pretrained Generative Models: A Contrastive Learning View

Xuanchi Ren, Tao Yang+2 more|arXiv (Cornell University)|Feb 21, 2021

Generative Adversarial Networks and Image Synthesis被引用数 13

ひとこと要約

本論文は、生成的モデル（GAN、VAE、Flow）を事前学習させたものを利用して、生成品質と分離性のトレードオフを解消しつつ、潜在空間における分離可能な方向を同時に発見し、分離可能な表現を学習する対照学習フレームワークであるDisCoを提案する。新しいΔコントラスタを用いて画像の変化をモデル化し、エントロピーに基づく優位性損失を適用することで、複数のベンチマークデータセットおよび実世界のFFHQデータで最先端の性能を達成した。

ABSTRACT

From the intuitive notion of disentanglement, the image variations corresponding to different factors should be distinct from each other, and the disentangled representation should reflect those variations with separate dimensions. To discover the factors and learn disentangled representation, previous methods typically leverage an extra regularization term when learning to generate realistic images. However, the term usually results in a trade-off between disentanglement and generation quality. For the generative models pretrained without any disentanglement term, the generated images show semantically meaningful variations when traversing along different directions in the latent space. Based on this observation, we argue that it is possible to mitigate the trade-off by $(i)$ leveraging the pretrained generative models with high generation quality, $(ii)$ focusing on discovering the traversal directions as factors for disentangled representation learning. To achieve this, we propose Disentaglement via Contrast (DisCo) as a framework to model the variations based on the target disentangled representations, and contrast the variations to jointly discover disentangled directions and learn disentangled representations. DisCo achieves the state-of-the-art disentangled representation learning and distinct direction discovering, given pretrained non-disentangled generative models including GAN, VAE, and Flow. Source code is at https://github.com/xrenaa/DisCo.

研究の動機と目的

• 教師なし表現学習における分離性と生成品質のトレードオフを解消すること。
• 微調整を伴わない、事前学習済みで分離的でない生成的モデルのみを用いて、分離可能な表現学習を可能にすること。
• 事前学習済みモデルの潜在空間に意味的で解釈可能な要因を発見すること。
• 生成モデルの再学習を必要としない、モデルに依存しない統一的な分離フレームワークを構築すること。
• 対照学習を用いて画像の変化をモデル化し、潜在空間における明確な分離可能な方向を同定すること。

提案手法

• DisCoは固定された事前学習済みジェネレータを用い、発見された潜在空間方向に沿った画像の変化を対比することで、エンコーダーが分離可能な表現を学習する。
• 本手法は、潜在空間方向に沿って走査することで生成された画像ペア間の変化をモデル化する、新規なΔコントラスタモジュールを導入している。これにより、画像レベルの特徴量における対照学習が可能になる。
• フレームワークはナビゲーターと呼ばれるモジュールを用いて、要因発見のための潜在空間内の候補となる走査方向を生成する。
• エントロピーに基づく優位性損失が導入され、潜在コードの多様性を促進することで、表現の分離性を高める。
• ハードネガティブサンプルの入れ替え戦略が採用され、動的に困難なネガティブサンプルを選択することで、対照学習の最適化が向上する。
• 本手法はモデルに依存せず、GAN、VAE、ノーマライジングフローのいずれの生成モデルに対しても適用可能であり、事前学習済みジェネレータの変更を必要としない。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み生成的モデルの生成品質を損なわせることなく、最先端の分離可能な表現学習を達成できるか？
• RQ2 分離的でない事前学習済みモデルの潜在空間において、意味的で解釈可能な分離可能な方向を発見できるか？
• RQ3 対照学習を画像の変化に効果的に適用することで、潜在空間における分離可能な要因を同定できるか？
• RQ4 異なる種類の事前学習済み生成的モデルに共通して適用可能な統一フレームワークを設計できるか？
• RQ5 明示的な正則化なしに、対照学習の設定で分離性の性能を向上させる要因は何か？

主な発見

• DisCoは、dSprites、Cars3D、Chairsの3つの主要なベンチマークデータセットにおいて、全評価指標で最先端の分離性能を達成した。
• FFHQデータセットでは、事前学習済みのStyleGANの潜在空間において、高品質で意味的で解釈可能な分離可能な方向を効果的に発見した。
• エントロピーに基づく優位性損失は、学習された表現の多様性を促進することで、分離性の向上に顕著な効果を示した。
• ハードネガティブサンプルの入れ替え戦略により、対照学習の最適化が向上し、より強固で分離性の高い表現が得られた。
• 本手法は、要因発見ベースの手法および従来のVAE/InfoGANベースの手法を上回る分離性の質を達成した。
• 事前学習済みジェネレータが固定されており微調整が行われないため、高精細な画像生成品質を維持した。