[논문 리뷰] Automatic structured variational inference

Luca Ambrogioni, Kate Ching‐Ju Lin외 5명|arXiv (Cornell University)|2020. 02. 03.

Gaussian Processes and Bayesian Inference참고 문헌 44인용 수 10

한 줄 요약

이 논문은 확률적 프로그램에서 효율적이고 정확한 사후 근사화를 가능하게 하는 완전 자동화된 방법인 자동 구조적 변분 추론(ASVI)을 소개한다. ASVI는 공액 지수족 업데이트를 모방하여 구조적 변분 가족을 구성하며, 평균형 및 역자기회귀 흐름과 비교해도 최고 성능을 기록하면서도 원래 모델과 동일한 계산 복잡도를 유지한다.

ABSTRACT

Stochastic variational inference offers an attractive option as a default method for differentiable probabilistic programming. However, the performance of the variational approach depends on the choice of an appropriate variational family. Here, we introduce automatic structured variational inference (ASVI), a fully automated method for constructing structured variational families, inspired by the closed-form update in conjugate Bayesian models. These convex-update families incorporate the forward pass of the input probabilistic program and can therefore capture complex statistical dependencies. Convex-update families have the same space and time complexity as the input probabilistic program and are therefore tractable for a very large family of models including both continuous and discrete variables. We validate our automatic variational method on a wide range of low- and high-dimensional inference problems. We find that ASVI provides a clear improvement in performance when compared with other popular approaches such as the mean-field approach and inverse autoregressive flows. We provide an open source implementation of ASVI in TensorFlow Probability.

연구 동기 및 목표

• 확률적 프로그램 내 복잡한 종속성을 포괄하는 구조적 변분 가족의 자동 구축을 목적으로 한다.
• 수동 설계 또는 강한 가정이 필요한 평균형 및 수동으로 설계된 구조적 변분 추론 방법의 한계를 극복하는 것을 목적으로 한다.
• 입력 모델의 전진 전파 구조를 유지하면서도 확장 가능하고 미분 가능한 추론을 가능하게 하는 방법을 개발하는 것을 목적으로 한다.
• TensorFlow Probability와 같은 자동 미분 프레임워크에서 평균형 VI에 대한 즉각적인 대체 방법을 제공하는 것을 목적으로 한다.
• 원래 모델을 초월하는 계산 복잡도를 증가시키지 않으면서도 고성능의 사후 근사화를 달성하는 것을 목적으로 한다.

제안 방법

• ASVI는 각 사후 확률 변수의 모수를 부모로부터 유도된 모수와 데이터 기반 항의 볼록 조합으로 구성하는 볼록 업데이트 변분 가족을 구축한다. 이는 공액 지수족 업데이트를 모방한다.
• 이 방법은 확률적 프로그램의 결정론적 전진 전파와 데이터에 의존하는 업데이트를 결합한 매개변수화를 사용하여, 원래 모델과 동일한 시간 및 공간 복잡도를 보장한다.
• 변분 가족은 각 사후 확률 변수의 평균이 부모 네트워크 출력과 데이터 기반 성분의 가중 평균이 되도록 정의되며, 학습 가능한 혼합 가중치를 포함한다.
• 이 방법은 연속형 및 이산형 변수 모두를 지원하며, 표준 확률적 경량 최적화 및 자동 미분과 호환된다.
• 이 방법은 `tfp.experimental.build_asvi_surrogate_posterior`를 통해 TensorFlow Probability에서 재사용 가능한 컴포onent으로 구현되어 있다.
• 암시적 추론은 추론 네트워크를 사용하여 변분 모수의 데이터 기반 성분을 예측함으로써 적용된다.

실험 결과

연구 질문

• RQ1 모델 특화 도출 없이도 복잡한 종속성을 포괄하는 구조적 변분 가족을 완전 자동화된 방법이 구성할 수 있는가?
• RQ2 ASVI의 성능은 구조적 확률 모델에서 평균형 및 역자기회귀 흐름 기준선과 비교해 어떻게 되는가?
• RQ3 볼록 업데이트 가족은 원래 모델과 동일한 계산 복잡도를 유지하면서도 사후 근사화를 향상시킬 수 있는가?
• RQ4 그래프 모델에 충돌하는 화살표(예: 베이지안 신경망에서)가 포함되어 있을 경우 ASVI는 얼마나 잘 사후 종속성을 포착할 수 있는가?
• RQ5 ASVI는 저차원 및 고차원 추론 문제, 특히 심층 생성 모델에 대해 잘 일반화되는가?

주요 결과

• ASVI는 모든 테스트된 저차원 모델에서 평균형 VI를 크게 능가하며, 다양한 데이터셋에서 ELBO 향상 폭이 1.5에서 10.5 포인트에 이르렀다.
• 베이지안 로지스틱 회귀 모델에서 ASVI는 -158.2 ± 1.3의 ELBO를 기록했고, 평균형의 -166.7 ± 0.2보다 뚜렷한 성능 향상을 보였다.
• 심층 변분 오토인코더 실험에서, ASVI는 MNIST, 패션MNIST, KMNIST의 세 데이터셋 모두에서 평균형 기준선보다 높은 테스트 세트 ELBO를 달성했다.
• 심층 모델에서의 성능 향상은 이미지 및 레이블 동시 생성 및 이미지만 생성하는 작업 모두에서 일관되게 나타났다.
• ASVI는 고용량 정규화 흐름 기법인 역자기회귀 흐름(IAFs)과 경쟁 가능한 성능을 기록했으며, 더 낮은 계산 복잡도를 유지했다.
• 모델의 전진 전파를 통해 사후 구조를 성공적으로 포착했지만, 충돌하는 화살표로 인한 종속성은 직접적으로 모델링하지 못했다.