[논문 리뷰] Stochastic gradient variational Bayes for gamma approximating distributions

David A. Knowles|arXiv (Cornell University)|2015. 09. 04.

Statistical Methods and Inference참고 문헌 23인용 수 39

한 줄 요약

이 논문은 재현가능성 기반 경사하강법(Reparameterization Gradient)을 사용하여 감마 분포 잠재 변수를 위한 확률적 경사 하강 변분 베이즈(SGVB)를 제안하며, 희소성과 음수 불가능성 제약 조건을 갖는 모델에서 효율적이고 스케일러블한 베이지안 추론을 가능하게 한다. 이는 감마 과정 모델과 희소 요인 분석에서 기존 가우시안 근사와 샘플링 방법에 비해 뛰어난 성능을 보이며, 특히 샘플 수가 적은 상황에서 유의미하다.

ABSTRACT

While stochastic variational inference is relatively well known for scaling inference in Bayesian probabilistic models, related methods also offer ways to circumnavigate the approximation of analytically intractable expectations. The key challenge in either setting is controlling the variance of gradient estimates: recent work has shown that for continuous latent variables, particularly multivariate Gaussians, this can be achieved by using the gradient of the log posterior. In this paper we apply the same idea to gamma distributed latent variables given gamma variational distributions, enabling straightforward "black box" variational inference in models where sparsity and non-negativity are appropriate. We demonstrate the method on a recently proposed gamma process model for network data, as well as a novel sparse factor analysis. We outperform generic sampling algorithms and the approach of using Gaussian variational distributions on transformed variables.

연구 동기 및 목표

• 비가우시안이고 비공액인 잠재 변수에 대해 기존의 확률적 경사 하강 변분 베이즈(SGVB) 프레임워크를 감마 분포 잠재 변수로 확장하여, 희소성과 음수 불가능성 조건을 요구하는 모델에서 효율적인 추론을 가능하게 하기.
• 비가우시안 연속 잠재 변수에 대해 몬테카를로 변분 추론에서 고분산 경사 추정치 문제를 해결하기.
• 공액 가수 가족 사전과 우도를 사용하는 모델에서 감마 변분 근사의 효과성을 입증하기.
• 변수를 가우시안 공간으로 변환하는 것보다 감마 사후분포를 직접 모델링함으로써 추론 성능 향상이 가능함을 보여주기.
• 오직 로그 결합 사후분포의 경사만을 사용하여 감마 과정 요인 분석 및 네트워크 모델과 같은 복잡한 모델에서 스케일러블하고 블랙박스 추론을 가능하게 하기.

제안 방법

• 감마 분포의 위치-스케일 가족 성질을 활용하여 재현가능성 기법을 유도함으로써, SGVB 프레임워크를 감마 분포 잠재 변수에 적용함.
• 낮은 분산의 스 tochastic 경사 업데이트를 가능하게 하기 위해 로그 결합 사후분포의 경사를 핵심 추정치로 사용함.
• 관측 데이터를 감마 변분 사후분포의 매개변수로 매핑하는 인식 모델을 활용하여 엔드 투 엔드 학습을 가능하게 함.
• 재현가능성 기법을 사용하여 ELBO와 그 경사를 유도함으로써, 확률적 노드를 통해 역전파가 가능해짐.
• 두 가지 모델에 적용: 네트워크 데이터를 위한 무한 엣지 분할 모델과 새로운 감마 과정 요인 분석(GPFA) 모델.
• 적응형 최적화(Adadelta)와 효율적인 벡터화 연산을 사용하여 대규모 데이터셋에 스케일링하며, GPFA에서 샘플 수 N과의 의존성이 없음.

실험 결과

연구 질문

• RQ1 비공액이며 비가우시안인 특성을 갖는 감마 분포 잠재 변수에 대해 SGVB 프레임워크를 성공적으로 확장할 수 있는가?
• RQ2 변환된 변수에 대해 가우시안 근사를 사용하는 것과 비교해 감마 변분 사후분포를 사용할 경우 추론 정확도와 스케일러비리티 측면에서 우수한가?
• RQ3 비공액 우도를 갖는 모델에서도 효과적인 사후분포 근사가 가능할 수 있는가?
• RQ4 낮은 데이터 샘플 수 상황에서 감마 SGVB 방법이 MCMC 샘플링 및 기타 변분 방법에 비해 성능가능한가?
• RQ5 실제 고차원 데이터에서 희소성과 음수 불가능성 제약 조건을 갖는 데이터(예: CyTOF 데이터)에 대해 효과적으로 적용 가능한가?

주요 결과

• GPFA는 인과적 요인 부하를 재구성하는 데 SPCA 및 NSFA보다 뛰어나며, 시뮬레이션 데이터에서 아마리 오차가 유의미하게 낮아 감마 모델링의 이점이 입증됨.
• N = 5.3×10⁵개 세포와 D = 40개 단백질을 갖는 CyTOF 데이터에서 GPFA는 테스트 데이터에서 퍼플렉서티 12.8을 달성하여, N < 2000일 경우 경험적 공분산과 Ledoit-Wolfe 수축 방법보다 뛰어남.
• 작은 N에서 GPFA는 경험적 공분산보다 더 나은 우도 추정치를 제공하며, 경험적 공분산은 퍼플렉서티 -10¹²(수치적 불안정성)를 기록함으로써 낮은 샘플 수 상황에서의 강건성을 입증함.
• GPFA의 런타임은 표준 랩탑에서 약 10초였으며, N과의 의존성이 없었고, SPCA의 런타임은 N에 따라 선형적으로 증가하여 대규모 스케일링에서 GPFA가 더 효율적임.
• GPFA에서 추정된 공분산 행렬은 이방향 성분을 효과적으로 정규화하고 생물학적 구조를 잘 포착하며, 해석 가능한 음수 불가능한 요인 부하를 제공함.
• 이 방법은 모델 전용 도출을 초과하여 오직 로그 결합 사후분포의 경사만을 요구함으로써, 다양한 감마 기반 모델에 적용 가능한 블랙박스 및 스케일러블 추론을 가능하게 함.