[論文レビュー] Disentangled Representations from Non-Disentangled Models

Valentin Khrulkov, Leyla Mirvakhabova+2 more|arXiv (Cornell University)|Feb 11, 2021

Adversarial Robustness in Machine Learning参考文献 50被引用数 8

ひとこと要約

本論文は、トレーニング中に不分解正則化を使用せずに、事前学習された生成モデル—特にStyleGAN2—から不分解表現を抽出することで、後処理による不分解を提案する。DeepSpectralおよびClosedFormといった潜在空間解析技術を活用することで、最小限のハイパーパrameterチューニングで、ベンチマークデータセットにおいて最先端の不分解性能を達成し、高品質なGANにおいて不分解要因が自然に出現しうることを示している。

ABSTRACT

Constructing disentangled representations is known to be a difficult task, especially in the unsupervised scenario. The dominating paradigm of unsupervised disentanglement is currently to train a generative model that separates different factors of variation in its latent space. This separation is typically enforced by training with specific regularization terms in the model's objective function. These terms, however, introduce additional hyperparameters responsible for the trade-off between disentanglement and generation quality. While tuning these hyperparameters is crucial for proper disentanglement, it is often unclear how to tune them without external supervision. This paper investigates an alternative route to disentangled representations. Namely, we propose to extract such representations from the state-of-the-art generative models trained without disentangling terms in their objectives. This paradigm of post hoc disentanglement employs little or no hyperparameters when learning representations while achieving results on par with existing state-of-the-art, as shown by comparison in terms of established disentanglement metrics, fairness, and the abstract reasoning task. All our code and models are publicly available.

研究の動機と目的

• 教師なし不分解学習におけるハイパーパrameter感受性の課題、特に真の要因ラベルが存在しない状況での対処。
• 不分解正則化なしにトレーニングされた事前学習済み生成モデルから不分解表現を抽出できるかどうかの調査。
• 繰り返しのハイパーパrameterチューニングを必要としない、後処理による不分解フレームワークの開発。
• 抽出された表現が、抽象的推論や公平性といった下流タスクにおける有用性の評価。

提案手法

• 本手法は、特定の変動要因に対応する潜在空間の方向を特定することで、事前学習済みのStyleGAN2ジェネレータから不分解表現を抽出する。
• スプライスクラスタリングに基づく手法（DeepSpectral）を用い、特定の変動要因と強く相関する潜在空間の方向を同定する。
• 線形プローブを用いて潜在方向と真の要因の相関を推定し、不分解成分の選択を可能にする。
• 反復的最適化を回避するため、閉形式解（ClosedForm）を用いて要因と高い相互情報量を持つ方向を同定する。
• 本フレームワークは、GAN、VAE、ノーマライジングフローを含む、明示的な潜在空間を持つ任意の生成モデルに一般化して適用可能である。
• エンコーダーはGANによって生成された合成データ上で訓練され、得られた表現は標準的な不分解メトリクスを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中に追加の正則化を用いずに、StyleGAN2のような非不分解生成モデルから効果的に不分解表現を抽出できるか？
• RQ2 後処理による不分解は、エンドツーエンドの不分解モデルと比較して、標準的な不分解メトリクスおよび下流タスクのパフォーマンスにおいてどのように異なるか？
• RQ3 事前学習済みGANの潜在空間において、明示的な不分解目的がなくても、不分解要因がすでにエンコードされている程度はどの程度か？
• RQ4 提案手法は、VAEベースのアーキテクチャや複雑なハイパーパrameterチューニングに依存せずに、抽象的推論および公平性ベンチマークで競争力のあるパフォーマンスを達成できるか？

主な発見

• 提案された後処理による不分解手法は、すべての評価データセットで、InfoStyleGAN*を含む最先端の手法と同等のMIGスコアを達成した。
• 3D Shapesデータセットでは、DeepSpectral手法が最高のMIGスコアを達成し、GANベースの手法の中で平均的に最高の結果を出した。
• WReNモデルを用いた抽象的推論タスクでは95％以上の精度を達成し、SOTAのVAEベースのモデルと同等の性能を示した。
• 公平性評価では、VAEベースのベースラインと比較して、不平等スコアの分散が低く抑えられ、過去の手法と同等またはそれ以上の分布を示した。
• 結果から、StyleGAN2の潜在空間にはすでに高品質な不分解方向が存在しており、補助的正則化の必要性が低下することが示唆された。
• ProGANにおける実験ではやや劣るパフォーマンスを示したが、これは実データとProGANが生成するサンプルとの分布ギャップが大きいことに起因すると考察された。