[논문 리뷰] Embarrassingly Parallel Variational Inference in Nonconjugate Models

Willie Neiswanger, Chong Wang외 1명|arXiv (Cornell University)|2015. 10. 14.

Machine Learning and Algorithms참고 문헌 22인용 수 9

한 줄 요약

이 논문은 분산된 데이터 세트에서 비공액 베이지안 모델을 위한 뚱뚱한 병렬 변분 추론(EPVI) 방법을 제안한다. 이 방법은 통신이 없는 독립적인 추론을 가능하게 하며, 하위사후분포의 곱과 비모수적 변분 추론을 활용하여 비공액 모델(예: 로지스틱 회귀, 비선형 행렬 분해)에서도 유의미한 속도 향상을 이룬다—최대 10배까지 빨라진다. 동시에 정확한 사후 근사값을 유지한다.

ABSTRACT

We develop a parallel variational inference (VI) procedure for use in data-distributed settings, where each machine only has access to a subset of data and runs VI independently, without communicating with other machines. This type of "embarrassingly parallel" procedure has recently been developed for MCMC inference algorithms; however, in many cases it is not possible to directly extend this procedure to VI methods without requiring certain restrictive exponential family conditions on the form of the model. Furthermore, most existing (nonparallel) VI methods are restricted to use on conditionally conjugate models, which limits their applicability. To combat these issues, we make use of the recently proposed nonparametric VI to facilitate an embarrassingly parallel VI procedure that can be applied to a wider scope of models, including to nonconjugate models. We derive our embarrassingly parallel VI algorithm, analyze our method theoretically, and demonstrate our method empirically on a few nonconjugate models.

연구 동기 및 목표

• 분산된 데이터 환경에서 비공액 모델에 대해 확장 가능하고 통신 비용이 낮은 변분 추론 방법의 부족을 해결한다.
• 기존의 병렬 변분 추론 방법이 조건부 공액성 또는 지수족 가정을 필요로 하는 한계를 극복한다.
• 계산 중 상호 간 통신을 제거함으로써 보안적이고 탈중앙화된 추론을 가능하게 한다.
• 기존의 지수족 모델에 국한되지 않고 일반 베이지안 모델로까지 뚱뚱한 병렬 추론의 적용 범위를 넓힌다.
• 대규모 분산 환경에서 수렴 시간을 극적으로 단축하면서도 사후 근사 정확도를 유지하는 방법을 개발한다.

제안 방법

• 최근의 병렬 MCMC 연구에서 영감을 얻어, 하위사후분포의 곱에 기반한 사후분해 전략을 채택한다.
• 이 분해 전략을 조건부 공액성 또는 지수족 가정이 필요 없는 비모수적 변분 추론(NVI)에 적용한다.
• 공통 로그확률의 약한 미분 가능성 조건을 활용해, 통신 없이 각 데이터 분할에서 독립적으로 변분 추론을 수행한다.
• 지역적 변분 근사값을 하위사후분포의 곱 혼합으로 조합하여 전체 데이터 사후분포를 근사한다.
• 정확한 계산이 어려운 경우에 효율적으로 곱 혼합을 근사하기 위한 두 가지 샘플링 기반 절차—EPVI_sample 및 EPVI_subset—를 도입한다.
• 최종 집계 단계에서 순차적 샘플링을 사용하여 계산 비용을 줄이면서도 근사 품질을 유지한다.

실험 결과

연구 질문

• RQ1 조건부 공액성 또는 지수족 가정 없이도 뚜렷한 병렬 변분 추론을 비공액 모델로 확장할 수 있는가?
• RQ2 비모수적 변분 추론을 통해 결합된 하위사후분포의 곱이 비공액 모델에서 전체 데이터 사후분포를 얼마나 잘 근사하는가?
• RQ3 통신이 없는 분산 환경에서의 변분 추론에서 계산 효율성과 사후 근사 정확도 사이의 상호 상충 관계는 어떠한가?
• RQ4 EPVI_sample과 EPVI_subset 간의 서로 다른 샘플링 전략이 속도와 정확도 측면에서 어떻게 비교되는가?
• RQ5 데이터 분할 수(M)와 혼합 성분 수(K)가 증가함에 따라 제안된 방법이 얼마나 잘 스케일링되는가? 성능 유지 여부는 어떠한가?

주요 결과

• EPVI_sample은 로지스틱 회귀 및 비선형 행렬 분해를 포함한 여러 비공액 모델에서 표준 NVI 대비 수렴 시간을 거의 10배 단축시킨다.
• 기준 NVI와 거의 동일한 테스트 데이터의 음의 로그가능도를 유지함으로써, 통신 감소에도 불구하고 뛰어난 사후 근사 정확도를 입증한다.
• M > 6 및 K > 4일 경우 정확한 곱 혼합 평가의 계산 시간이 크게 증가하지만, EPVI_sample 및 EPVI_subset는 여전히 효율적이고 정확하다.
• EPVI_sample은 테스트 로그가능도와 계산 시간 모두에서 EPVI_subset를 능가하여, 곱 혼합 근사에서 더 높은 샘플링 효율성을 보인다.
• 데이터 분할 수(M)와 혼합 성분 수(K) 증가에 따라 효과적으로 스케일링되며, 예측 성능 저하 없이 일관된 속도 향상을 보인다.
• 합성 및 실세계 데이터에 대한 실험 결과는, 이 방법이 통신 최소화와 함께 고속 추론을 실현함으로써, 개인정보 보호가 중요한 분산 환경에 적합함을 입증한다.