[논문 리뷰] Advances in Variational Inference

Cheng Zhang, Judith Bütepage외 2명|arXiv (Cornell University)|2017. 11. 15.

Gaussian Processes and Bayesian Inference참고 문헌 223인용 수 25

한 줄 요약

이 논문은 2010년에서 2017년 사이의 변분 추론(VI) 분야에서의 최근 발전을 종합적으로 검토한다. 주로 확장성, 일반성, 정확도, 보상 추론 기법에 초점을 맞추며, 확률적 최적화, 블랙박스 VI, 구조적 근사, 신경망 기반 추론 네트워크의 진전을 통합하여, 효율적인 베이지안 딥러닝과 확률적 모델링을 가능하게 한 바를 강조한다.

ABSTRACT

Many modern unsupervised or semi-supervised machine learning algorithms rely on Bayesian probabilistic models. These models are usually intractable and thus require approximate inference. Variational inference (VI) lets us approximate a high-dimensional Bayesian posterior with a simpler variational distribution by solving an optimization problem. This approach has been successfully used in various models and large-scale applications. In this review, we give an overview of recent trends in variational inference. We first introduce standard mean field variational inference, then review recent advances focusing on the following aspects: (a) scalable VI, which includes stochastic approximations, (b) generic VI, which extends the applicability of VI to a large class of otherwise intractable models, such as non-conjugate models, (c) accurate VI, which includes variational models beyond the mean field approximation or with atypical divergences, and (d) amortized VI, which implements the inference over local latent variables with inference networks. Finally, we provide a summary of promising future research directions.

연구 동기 및 목표

• 2010년에서 2017년 사이의 변분 추론(VI) 분야에서의 최근 발전을 종합적으로 조망하는 것.
• 기존 VI의 한계, 예를 들어 모델 적용 범위의 제한성과 확장성 문제를 해결하기 위해 현대적 확장 기법을 검토하는 것.
• VI를 딥러닝 및 확률적 프로그래밍과 통합하여 추론의 효율성과 접근성 향상을 도모하는 것.
• 비전문가를 위한 이론, 불확실성 추정, 실용성 측면에서의 열린 과제를 규명하는 것.
• 특히 대규모 및 복잡한 모델에서 현대 베이지안 머신러닝의 기초 도구로 VI를 위치짓는 것.

제안 방법

• 대규모 데이터셋에서의 확장 가능한 VI를 가능하게 하기 위해 확률적 경사 하강법과 재생성 기울기(reparameterization gradients)를 활용한다.
• 해석적 유도가 필요 없는 비연결성 및 복잡한 모델을 다룰 수 있도록 블랙박스 변분 추론(BBVI)을 적용한다.
• 평균 필드를 초월한 정확도 향상을 위해 구조적 변분 가족과 다른 발산 방식(f-발산 등)을 활용한다.
• 변분 추론 네트워크(예: 변분 오토인코더에서의)를 통해 보상 추론을 도입하여 데이터 포인트 간에 파라미터를 공유하고 추론 속도를 향상시킨다.
• 확률적 프로그래밍 프레임워크를 활용하여 추론를 자동화하고 수동 구현의 부담을 줄인다.
• 냉각 기법과 제어 변수를 통합하여 학습 안정성과 기울기 추정의 분산 감소를 도모한다.

실험 결과

연구 질문

• RQ1 어떻게 변분 추론을 대규모 데이터셋과 현대 딥러닝 모델에 확장 가능하게 할 수 있는가?
• RQ2 비연결성 및 복잡한 확률 모델을 위한 일반적인 VI를 가능하게 하는 기법은 무엇인가?
• RQ3 평균 필드 가정을 초월해 변분 근사의 정확도를 어떻게 향상시킬 수 있는가?
• RQ4 신경망 기반 추론 네트워크를 활용한 보상 추론은 베이지안 딥러닝에서 효율성과 일반화 능력을 어떻게 향상시키는가?
• RQ5 이론, 불확실성 정량화, 비전문가 사용자에 대한 실용성 측면에서의 주요 열린 과제는 무엇인가?

주요 결과

• 재생성 기울기를 활용한 확률적 변분 추론은 미니배치를 사용하여 대규모 데이터셋에서의 효율적 최적화를 가능하게 한다.
• BBVI와 같은 블랙박스 VI 알고리즘은 공액 사전이 필요 없이도 비연결성 모델에 대한 VI 적용 범위를 넓힌다.
• 구조적 변분 가족과 비평균 필드 근사 방식은 표준 평균 필드 대비 사후 분포 근사 품질을 크게 향상시킨다.
• 딥러닝 네트워크를 추론 네트워크로 활용한 보상 추론은 변분 오토인코더와 같은 모델의 엔드 투 엔드 학습을 가능하게 한다.
• Edward 및 Zhusuan과 같은 확률적 프로그래밍 도구와의 통합은 빠른 프로토타이핑과 구현을 촉진한다.
• 다시 말해, 이론적 보장, 분산 감소, 비전문가 사용자에 대한 접근성 측면에서 여전히 도전 과제가 남아 있으며, 특히 대칭성 깨짐과 제어 변수 설계에서 두드러진다.