[論文レビュー] The Power Spherical distribution

Nicola De Cao, Wilker Aziz|arXiv (Cornell University)|Jun 8, 2020

Gaussian Processes and Bayesian Inference参考文献 29被引用数 17

ひとこと要約

本稿では、高次元球面上のデータに対するvon Mises-Fisher (vMF)分布の数値的に安定で再パラメータ化可能な代替手法として、パワー・スフィアル分布を提案する。一変量の周辺分布に解析的逆累積分布関数 (CDF) を備えることで、再試行を要しない高速なサンプリングと正確な勾配計算を実現し、vMFに比べてサンプリング速度と安定性に優れる一方で、変分オートエンコーダーにおける性能は同等を維持する。

ABSTRACT

There is a growing interest in probabilistic models defined in hyper-spherical spaces, be it to accommodate observed data or latent structure. The von Mises-Fisher (vMF) distribution, often regarded as the Normal distribution on the hyper-sphere, is a standard modeling choice: it is an exponential family and thus enjoys important statistical results, for example, known Kullback-Leibler (KL) divergence from other vMF distributions. Sampling from a vMF distribution, however, requires a rejection sampling procedure which besides being slow poses difficulties in the context of stochastic backpropagation via the reparameterization trick. Moreover, this procedure is numerically unstable for certain vMFs, e.g., those with high concentration and/or in high dimensions. We propose a novel distribution, the Power Spherical distribution, which retains some of the important aspects of the vMF (e.g., support on the hyper-sphere, symmetry about its mean direction parameter, known KL from other vMF distributions) while addressing its main drawbacks (i.e., scalability and numerical stability). We demonstrate the stability of Power Spherical distributions with a numerical experiment and further apply it to a variational auto-encoder trained on MNIST. Code at: https://github.com/nicola-decao/power_spherical

研究の動機と目的

• 高次元または高濃度設定下でのvon Mises-Fisher (vMF)分布における数値的不安定性と非効率な再試行サンプリングを解消すること。
• 高分散補正項の必要性を排除することで、確率的バックプロパゲーションに完全な再パラメータ化を可能にすること。
• 再試行サンプリングに依存せずに、効率的かつ安定したサンプリングが可能な球面上の分布の開発。
• 微分可能サンプリングと勾配計算を可能にすることで、ディープラーニングフレームワークとの互換性を確保すること。
• MNISTにおける変分オートエンコーダーにvMFを置き換えることで、実用的有効性を実証し、訓練速度を向上させつつ同等の性能を維持すること。

提案手法

• 超球面上のベクトルの接線-法線分解を活用し、分布を径方向成分 (t) と接線成分 (v) に分離することで、tの周辺分布のモデル化に帰着する。
• tの周辺密度にべき乗則形を定義することで、パワー・スフィアル分布を定義し、解析的逆累積分布関数 (CDF) を保証する。
• 解析的に逆転可能な周辺分布と、接線空間上の一様分布を組み合わせることで、完全な超球面上の分布を構築する。
• 逆CDFから直接tをサンプリングすることで再パラメータ化を実現し、補正項なしにバックプロパゲーションを可能にする。
• 平均、最頻値、分散、エントロピー、およびvMF分布や一様分布からのKLダイバージェンスといった重要な統計的性質の閉形式表現を導出する。
• 変分オートエンコーダー設定下でのサンプリング安定性と性能ベンチマークに関する数値実験を通じて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 再試行サンプリングを必要とせず、高速かつ安定した再パラメータ化可能なサンプリングが可能な超球面上の分布を設計できるか？
• RQ2 超球面上で解析的に逆転可能なCDFを持つ分布は、ディープジェネレーティブモデリングに十分な表現力を持つだろうか？
• RQ3 高濃度および高次元性下において、パワー・スフィアル分布はvMFに比べて数値的安定性に優れるか？
• RQ4 パワー・スフィアル分布は、性能劣化を伴わずに変分オートエンコーダーにおけるvMFの直接的置き換えが可能だろうか？
• RQ5 新しいサンプリング手法は、ディープラーニングモデルにおける訓練速度と勾配品質にどのような影響を及ぼすか？

主な発見

• パワー・スフィアル分布では、vMFに比べて少なくとも6倍速く、高濃度ケースでは最大20倍速くサンプリングが可能であり、濃度に依存しない一定のサンプリング時間を持つ。
• パワー・スフィアル分布は、高次元空間（例：d=64）および高濃度パラメータ下でも数値的に安定しており、vMFとは異なり不安定性を示さない。
• パワー・スフィアル分布からのサンプリングには再試行サンプリングが不要であり、高分散補正項なしに正確な再パラメータ化が可能である。
• MNISTにおける変分オートエンコーダーにおいて、パワー・スフィアル分布はすべての潜在次元（d=5からd=40）でvMFと同等の対数尤度およびELBOスコアを達成した。
• 同等の性能を維持しながら、パワー・スフィアルを用いた訓練はvMFを用いた場合よりも2倍以上高速であり、計算効率の向上が実証された。
• 結果から、パワー・スフィアル分布は、ディープジェネレーティブモデルにおける超球面上の潜在空間に適した、実用的でスケーラブルで安定したvMFの代替手段であることが確認された。