[논문 리뷰] Stochastic Structured Mean-Field Variational Inference.

Matthew D. Hoffman|arXiv (Cornell University)|2014. 04. 16.

Gaussian Processes and Bayesian Inference참고 문헌 15인용 수 3

한 줄 요약

이 논문은 전역 매개변수와 국소 잠재 변수 간의 임의의 의존성을 모델링함으로써 제한적인 평균장 가정을 완화하는 확률적 구조적 평균장 변분 추론을 제안한다. 구조적 변분 근사법을 확률적 변분 추론에 통합함으로써 근사 편향을 감소시키고 대규모 베이지안 모델에서 수렴 안정성을 향상시킨다.

ABSTRACT

Stochastic variational inference makes it possible to approximate posterior distributions induced by large datasets quickly. The algorithm relies heav-ily on the use of fully factorized variational dis-tributions. However, this “mean-field ” indepen-dence approximation introduces bias. We show how to relax the mean-field approximation to al-low arbitrary dependences between global pa-rameters and local hidden variables, reducing both bias and sensitivity to local optima. 1

연구 동기 및 목표

• 확률적 변분 추론에서 완전히 분리된(평균장) 근사로 인해 발생하는 편향을 해결하기 위해.
• 대규모 모델에서 전역 매개변수와 국소 잠재 변수 간의 탄력적이고 구조적인 의존성을 가능하게 하기 위해.
• 사후 분포 근사에서 국소 최적점에 대한 민감도를 감소시키기 위해.
• 사후 분포 근사 품질을 향상시키면서도 계산 효율성을 유지하기 위해.

제안 방법

• 전역 매개변수와 국소 잠재 변수 간의 의존성을 명시적으로 모델링하는 구조적 변분 가족을 제안한다.
• 스토캐스틱 최적화를 사용하여 인과성 없는 변분 분포와 함께 작동하도록 확률적 변분 추론을 적응시킨다.
• 변분 매개변수의 기울기 기반 최적화를 가능하게 하기 위해 재생성 기법을 활용한다.
• 대규모 데이터 세트에서의 확장 가능한 최적화를 위해 기대하한 하한값(ELBO)의 몬테카를로 근사를 사용한다.
• 복잡한 조건부 의존성을 포괄할 수 있는 탄력적인 매개변수 형태의 변분 분포를 도입한다.
• 미니배치 데이터를 사용하여 ELBO를 최적화하기 위해 확률적 경사 하강법을 적용한다.

실험 결과

연구 질문

• RQ1 전역 매개변수와 국소 변수 간의 구조적 의존성이 평균장 방법에 비해 사후 분포 근사의 편향을 줄이는가?
• RQ2 대규모 데이터 세트에서 제안된 방법의 수렴 안정성과 근사 품질은 어떠한가?
• RQ3 평균장 가정을 완화함으로써 ELBO와 모델 적합도는 어느 정도 향상되는가?
• RQ4 복잡한 사후 의존성을 포착하면서도 계산 효율성을 유지할 수 있는가?

주요 결과

• 구조적 변분 근사법은 기존의 표준 평균장 변분 추론에 비해 편향을 크게 감소시킨다.
• 이 방법은 사후 추정에서 국소 최적점에 대한 민감도가 감소하고 수렴 행동이 향상됨을 보여준다.
• 전역 변수와 국소 변수 간의 의존성을 모델링함으로써 마진 분포에 대한 더 낮은 하한값을 달성한다.
• 스토캐스틱 최적화를 통해 확장성을 유지함으로써 대규모 데이터 세트에의 적용이 가능해진다.