[論文レビュー] On Implicit Regularization in $β$-VAEs

Abhishek Kumar, Ben Poole|arXiv (Cornell University)|Jan 31, 2020

Generative Adversarial Networks and Image Synthesis被引用数 12

ひとこと要約

この論文は、変分族がデコーダーにおける一意性と幾何構造をどのように強制するかを分析することで、$β$-VAEsにおける暗黙の正則化を解明している。デコーダーのヤコビアンとヘッセ行列に基づく解析的正則化子を有する決定的オートエンコーディング目的関数を導出し、MNISTおよびCelebAにおいて、目的関数値とサンプル品質の両面で$β$-VAEと強い経験的整合性を示している。

ABSTRACT

While the impact of variational inference (VI) on posterior inference in a fixed generative model is well-characterized, its role in regularizing a learned generative model when used in variational autoencoders (VAEs) is poorly understood. We study the regularizing effects of variational distributions on learning in generative models from two perspectives. First, we analyze the role that the choice of variational family plays in imparting uniqueness to the learned model by restricting the set of optimal generative models. Second, we study the regularization effect of the variational family on the local geometry of the decoding model. This analysis uncovers the regularizer implicit in the $β$-VAE objective, and leads to an approximation consisting of a deterministic autoencoding objective plus analytic regularizers that depend on the Hessian or Jacobian of the decoding model, unifying VAEs with recent heuristics proposed for training regularized autoencoders. We empirically verify these findings, observing that the proposed deterministic objective exhibits similar behavior to the $β$-VAE in terms of objective value and sample quality.

研究の動機と目的

• VAEにおける変分推論が、明示的なインダクティブバイアスが存在しない状況でも、学習された生成モデルをどのように正則化するかを理解すること。
• 変分族の選択が解空間を制限することで、学習された生成モデルの一意性と同定可能性にどのように影響するかを調査すること。
• 変分事後分布の共分散構造を通じて、デコーダーの局所的幾何構造に及ぼされる正則化効果を特徴づけること。
• デコーダーのヤコビアンとヘッセ行列に基づく解析的正則化子を用いて、$β$-VAE目的関数の決定的近似を導出すること。
• 理論的近似の経験的妥当性を検証し、導出された目的関数が$β$-VAEの目的関数値とサンプル品質の両面で一致することを示すこと。

提案手法

• 周辺尤度を保つが潜在表現を変更する変換を同定することで、変分族がモデルの一意性に与える影響を分析する。
• ガウス分布の仮定の下で、変分事後分布$q(z|x)$の共分散とデコーダーのヤコビアン$J_g(z)$の間に関係を導出する。
• $β$-VAE目的関数の2次テイラー展開を用いて変分推論項を近似し、解析的正則化子を有する決定的目的関数を導出する。
• 確率的KL項を$J_g(z)^\top J_g(z)$と$\Sigma_{z|x}$に基づく決定的正則化子に置き換えた新しい目的関数、GRAE ≈を導入する。
• 学習に際して、エンコーダーとデコーダーの両方の正則化子に固定の$β/2$重みを用いる、GRAE ≈目的関数の確率的近似を採用する。
• 目的関数値、FIDスコア、および定性的なサンプル品質の比較を通じて、近似の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 変分族の選択は、$β$-VAEsにおける解の一意性にどのように影響するか？
• RQ2 $β$-VAE目的関数に埋め込まれた暗黙の正則化子は何か？ また、それはデコーダーの幾何構造とどのように関係しているか？
• RQ3 デコーダーのヤコビアンとヘッセ行列に基づく解析的正則化子を有する決定的オートエンコーディング目的関数は、$β$-VAE目的関数をどれくらい正確に近似できるか？
• RQ4 目的関数値とサンプル品質の両面で、導出された決定的目的関数（GRAE ≈）は$β$-VAEの挙動をどの程度正確に再現するか？
• RQ5 変分事後分布の共分散構造とデコーダーのヤコビアンの局所的幾何構造の間にはどのような関係があるか？

主な発見

• 特に共分散構造が重要な役割を果たす変分族の選択により、最適な生成モデルの集合が制限され、同定不能な変換を排除することで一意性が強制される。
• ガウス的変分分布の場合、逆共分散$\Sigma_{z|x}^{-1}$は行列$J_g(h(x))^\top J_g(h(x))$と密接に関連しており、$\Sigma_{z|x}^{-1}$にブロック対角構造があると、デコーダーのヤコビアングラム行列にも同様のブロック対角構造が促進される。
• 導出された決定的目的関数、GRAE ≈は、$β$値の広い範囲で$β$-VAE目的関数をよく近似しており、特に小さな$β$値において目的関数値の整合性が極めて高い。
• MNISTおよびCelebAにおける経験的評価では、GRAE ≈で訓練されたモデルが$β$-VAEと同等の品質のサンプルを生成し、$β \geq 0.01$ではFIDスコアも類似している。
• $β$-VAE目的関数とそのテイラー近似の乖離は$β$が大きくなるほど増加するが、目的関数のトレンドは類似しており、近似の正確性が裏付けられる。
• 非ガウス的観測モデルに対しても、対角的またはブロック対角的変分事後分布がデコーダーのヤコビアンにそれらに対応する構造的バイアスを誘導することを示すことで、先行研究（例：Rolinek et al., 2019）を一般化している。