[論文レビュー] Preventing Posterior Collapse Induced by Oversmoothing in Gaussian VAE.

Yuhta Takida, Wei‐Hsiang Liao+3 more|arXiv (Cornell University)|Feb 17, 2021

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 10

ひとこと要約

本稿では、過平滑化によって引き起こされる後方分布の崩壊を防ぐために、ガウス型VAEにおける分散パラメータを適応的に正則化するAR-ELBOという手法を提案する。訓練中に分散を動的に調整することで、潜在空間の品質が向上し、MNISTおよびCelebAで最先端のFIDスコアを達成しており、非一様なデータ分散下でも頑健な生成が可能であることが示された。

ABSTRACT

Variational autoencoders (VAEs) often suffer from posterior collapse, which is a phenomenon in which the learned latent space becomes uninformative. This is often related to a hyperparameter resembling the data variance. It can be shown that an inappropriate choice of this parameter causes oversmoothness and leads to posterior collapse in the linearly approximated case and can be empirically verified for the general cases. Therefore, we propose AR-ELBO (Adaptively Regularized Evidence Lower BOund), which controls the smoothness of the model by adapting this variance parameter. In addition, we extend VAE with alternative parameterizations on the variance parameter to deal with non-uniform or conditional data variance. The proposed VAE extensions trained with AR-ELBO show improved Frechet inception distance (FID) on images generated from the MNIST and CelebA datasets.

研究の動機と目的

• 変分オートエンコーダーにおける後方分布の崩壊を解消すること。これは、不適切な分散ハイパーパrameterの選択により潜在空間が情報を持たなくなることが原因である。
• 不適切な分散設定による過平滑化が、線形および一般のVAEの両ケースにおいてどのように後方分布の崩壊を引き起こすかを調査すること。
• 訓練中に分散パラメータを学習することで、モデルの滑らかさを適応的に制御する手法を開発すること。
• 非一様または条件付きに変化するデータ分散を扱えるように、VAEに代替のパrameterizationを導入すること。
• 画像生成ベンチマーク上で提案手法を実証的に検証し、生成品質の向上を示すこと。

提案手法

• ELBO目的関数における分散パラメータを適応的に調整することで、モデルの滑らかさを制御する、AR-ELBOと呼ばれる適応的正則化技術を導入する。
• 過平滑化を軽減し、後方分布の崩壊を防ぐために、適応的分散項を含むエビデンス下限（ELBO）を定式化する。
• 潜在空間における非一様または条件付きのデータ分散をモデル化できる、分散の代替パラメータ化を提案する。
• 勾配ベース最適化を用いてVAEをAR-ELBOで訓練することで、各データポイントごとに最適な滑らかさレベルを学習可能にする。
• 分散が後方分布の崩壊を引き起こす役割を理論的に正当化するために、線形近似を用いる。
• 分散を潜在次元や入力条件に応じて変化させることで、複雑なデータ分布に対応できるように手法を拡張する。

実験結果

リサーチクエスチョン

• RQ1 不適切に選択された分散ハイパーパrameterは、ガウス型VAEにおいてどのように後方分布の崩壊を引き起こすか？
• RQ2 分散パラメータの適応的正則化は、線形および一般のVAEの両ケースにおいて、後方分布の崩壊を防止できるか？
• RQ3 AR-ELBOは、固定分散設定の標準VAEと比較して、生成品質をどのように向上させるか？
• RQ4 分散の代替パラメータ化は、潜在空間における非一様または条件付きのデータ分散をよりよく捉えることができるか？
• RQ5 AR-ELBOは、画像生成タスクにおける標準評価指標（FID）にどのような影響を与えるか？

主な発見

• AR-ELBOは、分散パラメータを適応的に制御することで、過平滑化を軽減し、後方分布の崩壊を効果的に防止する。
• MNISTおよびCelebAにおけるFIDスコアが向上し、標準VAEと比較して優れた画像生成品質を示している。
• 理論的分析により、不適切な分散選択が、線形近似ケースですら過平滑化と後方分布の崩壊を引き起こすことが示された。
• 実証的結果により、提案された分散適応戦略が、線形モデルを越えて複雑な現実世界のデータ分布に対しても一般化可能であることが確認された。
• 分散の代替パラメータ化により、非一様または条件付きのデータ分散のモデル化が向上し、表現学習が強化された。
• AR-ELBOフレームワークは、ベンチマークデータセットで最先端のFID性能を達成しており、その有効性が検証された。