[논문 리뷰] The Power Spherical distribution

Nicola De Cao, Wilker Aziz|arXiv (Cornell University)|2020. 06. 08.

Gaussian Processes and Bayesian Inference참고 문헌 29인용 수 17

한 줄 요약

이 논문은 초구면 데이터를 위한 von Mises-Fisher(vMF) 분포의 수치적으로 안정적이고 재파arameterization 가능한 대안으로 파wr 구면 분포를 제안한다. 단일 변수의 누적분포함수(CDF)의 역함수가 분석적으로 존재하도록 설계함으로써, 거부 샘플링이 없는 빠른 샘플링과 정확한 기울기 계산을 가능하게 하여, 샘플링 속도와 안정성에서 vMF를 능가하면서도 변분 autoencoder에서 동일한 성능을 유지한다.

ABSTRACT

There is a growing interest in probabilistic models defined in hyper-spherical spaces, be it to accommodate observed data or latent structure. The von Mises-Fisher (vMF) distribution, often regarded as the Normal distribution on the hyper-sphere, is a standard modeling choice: it is an exponential family and thus enjoys important statistical results, for example, known Kullback-Leibler (KL) divergence from other vMF distributions. Sampling from a vMF distribution, however, requires a rejection sampling procedure which besides being slow poses difficulties in the context of stochastic backpropagation via the reparameterization trick. Moreover, this procedure is numerically unstable for certain vMFs, e.g., those with high concentration and/or in high dimensions. We propose a novel distribution, the Power Spherical distribution, which retains some of the important aspects of the vMF (e.g., support on the hyper-sphere, symmetry about its mean direction parameter, known KL from other vMF distributions) while addressing its main drawbacks (i.e., scalability and numerical stability). We demonstrate the stability of Power Spherical distributions with a numerical experiment and further apply it to a variational auto-encoder trained on MNIST. Code at: https://github.com/nicola-decao/power_spherical

연구 동기 및 목표

• 고차원 또는 고집중도 설정에서 von Mises-Fisher(vMF) 분포의 수치적 불안정성과 비효율적인 거부 샘플링 문제를 해결한다.
• 고분산 보정 항목이 필요 없이 정확한 재파arameterization을 가능하게 하여 확률적 역전파를 지원한다.
• 거부 샘플링에 의존하지 않고 효율적이고 안정적인 샘플링이 가능한 초구면 분포를 개발한다.
• 기울기 계산과 미분 가능 샘플링을 가능하게 하여 딥러닝 프레임워크와의 호환성을 확보한다.
• MNIST에서 변분 autoencoder에 vMF를 대체함으로써 실용적 유용성을 입증하며, 학습 속도 향상과 동일한 성능 유지를 확인한다.

제안 방법

• 초구면 벡터의 탄젠트-노멀 분해를 활용하여 분포를 반경 성분(t)과 탄젠트 성분(v)으로 분리함으로써, t의 주변분포 모델링으로 문제를 단순화한다.
• t의 주변밀도에 거듭제곱 법칙 형태를 정의함으로써, 분석적 역누적분포함수(CDF)를 보장하는 파워 구면 분포를 정의한다.
• 분석적으로 역전환이 가능한 주변분포와 탄젠트 공간 상의 균일분포를 조합하여 전체 초구면 분포를 구성한다.
• 역누적분포함수에서 직접 t를 샘플링함으로써 재파arameterization을 가능하게 하여, 보정 항목 없이도 역전파를 수행할 수 있도록 한다.
• 평균, 최빈값, 분산, 엔트로피, vMF 및 균일분포로부터의 KL 발산과 같은 주요 통계적 성질에 대한 닫힌 형태의 수식을 유도한다.
• 변분 autoencoder 환경에서의 샘플링 안정성과 성능 벤치마크를 통해 수치적 실험을 수행하여 방법을 검증한다.

실험 결과

연구 질문

• RQ1 거부 샘플링 없이도 빠르고 안정적이며 재파arameterization 가능한 초구면 분포를 설계할 수 있는가?
• RQ2 초구면에서 분석적으로 역전환 가능한 CDF를 가진 분포가 딥 생성 모델링에 충분한 표현력을 유지하는가?
• RQ3 고집중도 및 고차원 환경에서 파워 구면 분포는 vMF에 비해 수치적 안정성이 뛰어나게 되는가?
• RQ4 파워 구면 분포는 변분 autoencoder에서 vMF를 직접 대체할 수 있는가, 성능 저하 없이?
• RQ5 새로운 샘플링 방법은 딥러닝 모델의 학습 속도와 기울기 품질에 어떤 영향을 미치는가?

주요 결과

• 파워 구면 분포는 vMF보다 최소 6배 빠르고, 고집중도 케이스에선 최대 20배 빠르며, 집중도에 관계없이 샘플링 시간이 일정하다.
• 파워 구면 분포는 고차원 공간(예: d=64)과 고집중도 파rameter에서 수치적으로 안정적이며, vMF는 이와 반대로 수치적 불안정성을 겪는다.
• 파워 구면 분포에서 샘플링은 거부 샘플링이 필요 없어, 고분산 보정 항목 없이 정확한 재파arameterization이 가능하다.
• MNIST에서의 변분 autoencoder에서, 파워 구면 분포는 모든 잠재차원(d=5에서 d=40)에서 vMF와 동일한 로그우도 및 ELBO 점수를 달성한다.
• 동일한 성능를 유지함에도 불구하고, 파워 구면 분포를 사용한 학습은 vMF를 사용한 경우보다 2배 이상 빠르며, 계산 효율성이 향상됨을 입증한다.
• 결과적으로 파워 구면 분포는 딥 생성 모델의 초구면 잠재공간에 대해 vMF의 실현 가능하고 확장 가능하며 안정적인 대체제임을 확인한다.