[論文レビュー] Increasing Expressivity of a Hyperspherical VAE

Tim R. Davidson, Jakub M. Tomczak+1 more|arXiv (Cornell University)|Oct 7, 2019

Gaussian Processes and Bayesian Inference参考文献 23被引用数 4

ひとこと要約

本稿では、1つの高次元超球を複数の独立した部分超球に分解することで表現力を向上させる製品空間超球VAEを提案する。各部分超球には固有の集中パラメータを割り当て、ボン・ミーゼス＝フィッシャー分布のスカラー集中パラメータを部分空間ごとのパラメータに置き換えることで、MNIST、Caltech、Omniglotなどの画像データセットで、標準的な超球およびガウス型VAEを上回る顕著な尤度と分離性の向上を達成する。

ABSTRACT

Learning suitable latent representations for observed, high-dimensional data is an important research topic underlying many recent advances in machine learning. While traditionally the Gaussian normal distribution has been the go-to latent parameterization, recently a variety of works have successfully proposed the use of manifold-valued latents. In one such work (Davidson et al., 2018), the authors empirically show the potential benefits of using a hyperspherical von Mises-Fisher (vMF) distribution in low dimensionality. However, due to the unique distributional form of the vMF, expressivity in higher dimensional space is limited as a result of its scalar concentration parameter leading to a 'hyperspherical bottleneck'. In this work we propose to extend the usability of hyperspherical parameterizations to higher dimensions using a product-space instead, showing improved results on a selection of image datasets.

研究の動機と目的

• 高次元潜在空間におけるボン・ミーゼス＝フィッシャー（vMF）分布の表現力が、単一のスカラー集中パラメータによって制限されている問題に対処すること。
• 潜在空間を低次元超球のカルテシアン積に分解することで、超球VAEの表現能力を向上させること。
• 各部分超球に独立した集中パラメータを導入することで、生成モデルにおける柔軟性と分離性を高めること。
• ベンチマーク画像データセットを用いた実験的検証を通じて、尤度と再構成性能の向上を示すこと。
• 製品空間構造が『超球ボトルネック』を緩和しつつ、モデルの単純性を損なわないことを示すこと。

提案手法

• 潜在空間 $\mathcal{S}_M$ を $k+1$ 個の独立した部分超球 $\mathcal{S}_{M_0} \times \cdots \times \mathcal{S}_{M_k}$ の積に分解し、ここで $\sum M_i = M$ である。
• 各部分超球は、固有の集中パラメータ $\kappa_i$ を持つボン・ミーゼス＝フィッシャー分布でモデル化され、次元ごとの柔軟性が向上する。
• 結合事前分布と事後分布は、$p(\mathbf{z}) = \prod_i p(\mathbf{z}_i)$ および $q(\mathbf{z}|\mathbf{x}) = \prod_i q(\mathbf{z}_i|\mathbf{x})$ と因数分解され、条件付き独立性を仮定する。
• KLダイバージェンスは $\mathrm{KL}(q(\mathbf{z}|\mathbf{x})||p(\mathbf{z})) = \sum_i \mathrm{KL}(q(\mathbf{z}_i|\mathbf{x})||p(\mathbf{z}_i))$ と分解され、効率的な最適化が可能になる。
• 再パラメトリゼーション勾配を用いた変分推論によりモデルを訓練し、vMFの扱いやすい正規化定数とベッセル関数を活用する。
• ログ尤度、再構成誤差、KLダイバージェンスを指標として、MNIST、Caltech-101、Omniglotを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 超球成分の製品空間構造は、単一のvMF分布を上回るVAEの表現力を向上させることができるか？
• RQ2 部分空間ごとの集中パラメータの導入は、高次元潜在空間における『超球ボトルネック』を緩和するか？
• RQ3 製品空間vMF VAEは、標準的なガウス型および単一超球vMF VAEと比較して、尤度と分離性の点で優れているか？
• RQ4 部分超球は画像データの意味的で分離可能な変動要因（例：線画の太さ）を学習できるか？
• RQ5 モデル性能の観点から、部分超球の数と集中パラメータの最適なトレードオフは何か？

主な発見

• MNISTでは製品空間vMF VAEが-92.50のログ尤度を達成し、最良の単一 $\mathcal{S}_m$-VAEの-96.32を上回った。
• Caltech-101ではログ尤度が-139.84に達し、単一 $\mathcal{S}_m$-VAEの-143.49より顕著に優れた結果を示した。
• Omniglotではログ尤度-112.58を達成し、単一 $\mathcal{S}_m$-VAEの-113.83を上回った。
• モデルは分離性が向上しており、特定の部分超球がストロークの太さなどの意味的属性を制御していることが、補間可視化で示された。
• 特に高次元設定において、標準的なvMFおよびガウス型VAEと比較して再構成誤差が低く、訓練がより安定した。
• アブレーションスタディにより、部分超球の数と集中パラメータを増やすことで性能向上が確認され、$[\mathcal{S}_7]_{\times 5} \times \mathcal{S}_5$ が全データセットで優れた結果を示した。