[論文レビュー] Do Generative Models Know Disentanglement? Contrastive Learning is All You Need

Xuanchi Ren, Tao Yang+2 more|arXiv (Cornell University)|Feb 21, 2021

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 9

ひとこと要約

本稿では、明示的な分離正則化を用いずに、事前学習済みの生成モデル（GAN、VAE、Flow）における分離された表現を発見するモデルに依存しない教師なし手法であるDisentanglement via Contrast（DisCo）を提案する。ナビゲーターが潜在空間の方向を探索し、変動空間における差分演算子を備えた対照的エンコーダーを用いることで、対照学習とエントロピーに基づく優位性損失を通じて、最先端の分離性能を達成する。

ABSTRACT

Disentangled generative models are typically trained with an extra regularization term, which encourages the traversal of each latent factor to make a distinct and independent change at the cost of generation quality. When traversing the latent space of generative models trained without the disentanglement term, the generated samples show semantically meaningful change, raising the question: do generative models know disentanglement? We propose an unsupervised and model-agnostic method: Disentanglement via Contrast (DisCo) in the Variation Space. DisCo consists of: (i) a Navigator providing traversal directions in the latent space, and (ii) a $\Delta$-Contrastor composed of two shared-weight Encoders, which encode image pairs along these directions to disentangled representations respectively, and a difference operator to map the encoded representations to the Variation Space. We propose two more key techniques for DisCo: entropy-based domination loss to make the encoded representations more disentangled and the strategy of flipping hard negatives to address directions with the same semantic meaning. By optimizing the Navigator to discover disentangled directions in the latent space and Encoders to extract disentangled representations from images with Contrastive Learning, DisCo achieves the state-of-the-art disentanglement given pretrained non-disentangled generative models, including GAN, VAE, and Flow. Project page at this https URL.

研究の動機と目的

• 事前学習済みの生成モデルが、明示的な分離正則化なしに本質的に分離された表現を学習しているかどうかを調査すること。
• 標準的な分離正則化項が引き起こす分離性と生成品質のトレードオフを緩和すること。
• 非分離的生成モデルの潜在空間における分離された方向を発見する、モデルに依存しない教師なし手法を開発すること。
• 教師データの要因アノテーションを必要とせず、対照学習を用いて分離性能を向上させること。
• 意味的曖昧性を低減するために、類似した意味を持つ難しいネガティブ例を特定し反転させることで、トレース方向の明確性を向上させること。

提案手法

• ナビゲーターモジュールが潜在空間を探索し、トレース方向を生成することで、意味的な変化を特定する。
• Δ-コントラストラーは、2つの共有重みエンコーダーを用いて、トレース方向に沿った画像ペアを分離表現に符号化する。
• 差分演算子が符号化された表現を変動空間にマップし、意味的変化における対照学習を可能にする。
• エントロピーに基づく優位性損失は、多様性と独立性を促進することで、符号化された表現の分離性を高める。
• ハードネガティブ反転戦略は、意味的に類似した変化を持つ方向を特定し反転させることで、耐性を高める。
• 本手法は、教師なしでエンドツーエンドに訓練され、生成モデルの再訓練を必要とせず、分離の発見が可能になる。

実験結果

リサーチクエスチョン

• RQ1 GAN、VAE、およびフローのような事前学習済みの生成モデルは、明示的な分離正則化なしに本質的に分離された表現を学習できるか？
• RQ2 非分離的モデルの潜在空間において、変動空間における対照学習が効果的に分離された方向を発見できるか？
• RQ3 エントロピーに基づく優位性損失は、標準的な対照的目的関数と比較して、分離品質をどのように向上させるか？
• RQ4 ハードネガティブ反転戦略は、学習されたトレース方向の意味的明確性をどの程度向上させるか？
• RQ5 DisCoは、再訓練を必要とせず、多様な生成モデルアーキテクチャで最先端の分離性能を達成できるか？

主な発見

• DisCoは、GAN、VAE、ノーマライジングフローなどの事前学習済みで非分離的生成モデルを用いて、ベンチマークデータセットで最先端の分離性能を達成する。
• 本手法は、いかなる教師信号やアーキテクチャの変更なしに、潜在空間において意味的で独立した分離要因を効果的に発見する。
• エントロピーに基づく優位性損失は、表現の多様性と独立性を促進することで、分離品質を顕著に向上させる。
• ハードネガティブ反転戦略は、トレース方向の意味的曖昧性を効果的に低減し、学習された要因の明確性を高める。
• DisCoはモデルに依存せず、複数の生成モデルアーキテクチャで動作し、広範な適用可能性を示す。
• 本手法は、生成モデルの再訓練を必要とせず、生成品質を保持したまま高い分離スコアを達成する。