[論文レビュー] Demystifying Inductive Biases for $\beta$-VAE Based Architectures

Dominik Zietlow, Michal Rolínek+1 more|arXiv (Cornell University)|Feb 12, 2021

Generative Adversarial Networks and Image Synthesis参考文献 33被引用数 6

ひとこと要約

この論文は、β-VAEに基づくアーキテクチャのデイントァングルメント成功が、生成要因によって構造化されたデータ分散の主成分に一致するインダクティブバイアスに起因することを示している。著者らは、生成要因を保持しながら分散の整合性を破る微細で構造を保つ摂動を導入することで、VAEベースのモデルが表現をデイントァングルできないことを示した。一方、非可変的メソッドであるPCLは依然として頑健であるため、この特定のインダクティブバイアスに依存していることが証明された。

ABSTRACT

The performance of $\beta$-Variational-Autoencoders ($\beta$-VAEs) and their variants on learning semantically meaningful, disentangled representations is unparalleled. On the other hand, there are theoretical arguments suggesting the impossibility of unsupervised disentanglement. In this work, we shed light on the inductive bias responsible for the success of VAE-based architectures. We show that in classical datasets the structure of variance, induced by the generating factors, is conveniently aligned with the latent directions fostered by the VAE objective. This builds the pivotal bias on which the disentangling abilities of VAEs rely. By small, elaborate perturbations of existing datasets, we hide the convenient correlation structure that is easily exploited by a variety of architectures. To demonstrate this, we construct modified versions of standard datasets in which (i) the generative factors are perfectly preserved; (ii) each image undergoes a mild transformation causing a small change of variance; (iii) the leading extbf{VAE-based disentanglement architectures fail to produce disentangled representations whilst the performance of a non-variational method remains unchanged}. The construction of our modifications is nontrivial and relies on recent progress on mechanistic understanding of $\beta$-VAEs and their connection to PCA. We strengthen that connection by providing additional insights that are of stand-alone interest.

研究の動機と目的

• 標準ベンチマークで最先端のデイントァングルメントを達成するβ-VAEベースのアーキテクチャが、どのようなインダクティブバイアスに依存しているかを特定すること。
• この成功が、アーキテクチャ的革新そのものではなく、データ内に存在する利用可能な構造的性質に起因するかどうかを調査すること。
• 生成要因を保持するがVAEが活用する分散構造を破壊するように変更されたデータセットを構築すること。
• このような変更下でVAEのデイントァングルメント失敗が、この構造的バイアスの喪失によるものであるか、アーキテクチャ的欠陥によるものかを検証すること。
• 制御されたデータ摂動下での可変的対非可変的メソッドの頑健性を比較すること。

提案手法

• 著者らは、dSpritesとShapes3Dの変種データセットを、画像の局所的分散をわずかに増加させる摂動を加えることで作成した。これにより生成要因は保持されたが、局所的相関構造が変化した。
• 摂動は、Rolinekら（2019）のVAEが非線形PCAを回復するという洞察に基づき、真の生成要因から離れた非線形主成分にずらすように設計された。
• 複数のβ-VAEバリアント（例：β-VAE、Fac. VAE、TC-β-VAE、Slow-VAE）と非可変的PCLモデルを、元のデータセットと変更済みデータセットの両方で評価した。
• 性能はMIG、SAP、DCIスコアで測定され、線形探索によるハイパーパramータチューニングを実施し、頑健性を評価した。
• 構造的でないデータ劣化と比較するため、ピクセル単位のノイズをベースライン摂動として導入した。
• 分析は、特に過剰なプルーニング条件下でのデイントァングルメントスコアと再構成品質の変化に焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 β-VAEベースのモデルがdSprites や Shapes3D といった標準データセットで高いデイントァングルメントを達成できるインダクティブバイアスは何か？
• RQ2 生成要因を保持しつつデータの分散構造を変更することで、VAEベースのモデルのデイントァングルメント性能を体系的に低下させることは可能か？
• RQ3 なぜ非可変的メソッド（例：PCL）はこのような摂動に対して頑健であるのに対し、可変的モデルは失敗するのか？
• RQ4 Slow-VAEのようなアーキテクチャの成功は、標準のβ-VAEと同一の分散構造バイアスに起因していると見なせるか？
• RQ5 データの非線形主成分構造を、VAEにのみ特異的に干渉するように操作することは可能か？

主な発見

• 生成要因は保持されたが分散構造が摂動された変更済みデータセットでは、すべてのVAEベースのアーキテクチャでMIGスコアが著しく低下した。例として、dSpritesにおけるβ-VAEは0.23 ± 0.08から0.07 ± 0.09に低下した。
• 非一意性を解消するためのスパarsな時間的事前分布を用いるSlow-VAEの性能も著しく低下したため、依然として同様の分散構造バイアスに依存していることが示された。
• 非可変的メソッドPCLは、元のデータセットと変更済みデータセットの両方でほぼ同一のMIGスコア（dSpritesでは0.21 ± 0.03 対 0.24 ± 0.07）を維持したため、摂動に対して頑健であることが示された。
• ノイズベースラインはShapes3Dにはほとんど影響を及ぼさなかったが、dSpritesではその低固有分散のため顕著な低下を示した。これはノイズが意図した構造的破壊を再現していないことを示唆した。
• ハイパーパramータチューニングにより一部の性能回復が可能ではあるが、それは常に潜在空間の過剰プルーニングが伴い、再構成品質が劣化するため、有効な解決策とは言えない。
• 結果から、VAEベースのデイントァングルメントの核心的インダクティブバイアスは、データ分散の主成分に一致することにあることが確認された。アーキテクチャ的設計そのものではなく、この点に起因する。