[論文レビュー] Latent Variables on Spheres for Autoencoders in High Dimensions

Deli Zhao, Jiapeng Zhu+1 more|arXiv (Cornell University)|Dec 21, 2019

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 6

ひとこと要約

本稿では、高次元潜在空間における変分推論を球面正規化に置き換える、シンプルでありながら効果的な手法である球面自己符号化器（SAE）を提案する。高次元幾何学を活用することで、SAEは尤度推定や潜在次元数に依存しない優れた再構成性能と生成性能を達成し、MNISTおよびFFHQデータセットにおいて、定量的指標と定性的なサンプルの両面でVAEを上回る。

ABSTRACT

Variational Auto-Encoder (VAE) has been widely applied as a fundamental generative model in machine learning. For complex samples like imagery objects or scenes, however, VAE suffers from the dimensional dilemma between reconstruction precision that needs high-dimensional latent codes and probabilistic inference that favors a low-dimensional latent space. By virtue of high-dimensional geometry, we propose a very simple algorithm, called Spherical Auto-Encoder (SAE), completely different from existing VAEs to address the issue. SAE is in essence the vanilla autoencoder with spherical normalization on the latent space. We analyze the unique characteristics of random variables on spheres in high dimensions and argue that random variables on spheres are agnostic to various prior distributions and data modes when the dimension is sufficiently high. Therefore, SAE can harness a high-dimensional latent space to improve the inference precision of latent codes while maintain the property of stochastic sampling from priors. The experiments on sampling and inference validate our theoretical analysis and the superiority of SAE.

研究の動機と目的

• VAEにおける次元のジレンマ、すなわち高次元潜在空間は再構成性能を向上させるが、変分推論の性能を劣化させることを是正すること。
• 高次元球面上のランダム変数が、事前分布に依存しない幾何的基盤を提供できるかを検証すること。
• 確率的サンプリングを維持しつつ推論精度を向上させる、変分推論の単純な代替手法を開発すること。
• 球面潜在空間が分布に依存せず、高次元において距離収束を示すことを検証すること。
• 潜在次元数や事前分布の変化にわたる再構成、生成、頑健性の面で、SAEがVAEを上回ることを示すこと。

提案手法

• VAEの変分推論を球面正規化に置き換えた、球面正規化を施した単純な自己符号化器（SAE）を提案：潜在コードは単位球面 $\mathbb{S}^{d_z-1}$ に制約され、$\mathbf{z}^\top \mathbf{1} = 0$ により中心化される。
• 高次元球面幾何学を用いて、次元 $d_z$ が十分に大きい場合、球面上のランダム変数が事前分布に依存しないことを主張する。
• 理論的分析により、高次元球面上の2つのランダムな潜在変数集合間のワサーライン距離が定数に収束することを示し、分布に頑健な性質を示す。
• 高次元における体積集中現象を根拠に、球面正規化が情報保持を維持するとともに推論精度を向上させることを正当化する。
• 変分推論の代わりに球面推論を採用：確率的事前分布を仮定せず、球面上での正規化のみを実施する。
• MNISTおよびFFHQデータセットに本手法を適用し、FID、SWD、MSEといった標準指標を用いてVAEと比較する。

実験結果

リサーチクエスチョン

• RQ1 高次元潜在空間における球面正規化は、VAEにおける次元のジレンマを緩和できるか？
• RQ2 高次元球面上のランダム変数は、分布に依存しない性質を示し、異なる事前分布に対しても頑健か？
• RQ3 高次元球面上のランダムサンプル間のワサーライン距離は定数に収束するか？ これは内在的な幾何的安定性を示唆するか？
• RQ4 単純な球面正規化は、VAEにおける変分推論に比べ、再構成と生成性能を向上させられるか？
• RQ5 SAEは、潜在次元数や多様な確率的事前分布の下で、サンプリングおよび推論タスクにおいてどのように性能を示すか？

主な発見

• SAEはFFHQ顔画像において91.02のFréchet Inception Distance（FID）を達成し、VAEの134.22よりも顕著に低い値であり、画像品質の優位性を示す。
• SAEは構造的類似性指数（SSIM）損失とMSEを低減し、FFHQにおいて再構成MSEが0.063とVAEの0.091を下回る。
• SAEは正規分布、一様分布、ポアソン分布、カイ二乗分布の4つの異なる事前分布に対しても一貫した顔生成品質を維持するが、VAEの出力品質は事前分布の種類によって顕著に変動する。
• SAEの再構成誤差は潜在次元数の増加に従い単調に減少するが、VAEの誤差は512次元を超えると増加するため、SAEは次元の呪いを回避している。
• 定性的な結果から、SAEはVAEに比べてサングラスや顔の構造といった微細なディテールをよりよく保持しており、再構成画像のぼやけ具合も少ない。
• 理論的分析により、高次元球面上の2つのランダム点集合間のワサーライン距離が定数に収束することが確認され、SAEの分布に頑健な性質が裏付けられた。