[논문 리뷰] Variational approximations using Fisher divergence

Yue Yang, Ryan R. Martin외 1명|arXiv (Cornell University)|2019. 05. 13.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 6

한 줄 요약

이 논문은 진정한 사후분포와 변분 근사 사이의 피셔 산란을 최소화하는 새로운 변분 베이지안 추론 방법을 제안한다. 이는 공액성 또는 평균장 가정이 필요 없이 효율적이고 정확한 사후분포 추정을 가능하게 한다. 이 방법은 반복적으로 가중치를 조정하는 최소 제곱법(IRLS) 알고리즘을 사용하며, 로지스틱 회귀에서 전통적인 쿨백-라이블러 기반 방법보다 뛰어난 성능을 보이며, 수렴 속도가 빠르고 모멘트 추정이 더 정확하다.

ABSTRACT

Modern applications of Bayesian inference involve models that are sufficiently complex that the corresponding posterior distributions are intractable and must be approximated. The most common approximation is based on Markov chain Monte Carlo, but these can be expensive when the data set is large and/or the model is complex, so more efficient variational approximations have recently received considerable attention. The traditional variational methods, that seek to minimize the Kullback--Leibler divergence between the posterior and a relatively simple parametric family, provide accurate and efficient estimation of the posterior mean, but often does not capture other moments, and have limitations in terms of the models to which they can be applied. Here we propose the construction of variational approximations based on minimizing the Fisher divergence, and develop an efficient computational algorithm that can be applied to a wide range of models without conjugacy or potentially unrealistic mean-field assumptions. We demonstrate the superior performance of the proposed method for the benchmark case of logistic regression.

연구 동기 및 목표

• 기존 쿨백-라이블러 산란 기반 변분 추론 방법의 한계를 해결하기 위해, 이는 종종 고차수 사후분포 모멘트를 포착하지 못하고 엄격한 가정을 필요로 한다.
• 정규화 상수나 공액성에 의존하지 않는 계산적으로 효율적인 변분 근사 방법을 개발하기 위해.
• 복잡한 모델, 예를 들어 로지스틱 회귀와 같은 모델에서 기존 방법보다 피셔 산란 최소화가 더 뛰어난 성능을 보임을 입증하기 위해.
• 정확도를 유지하면서 계산 비용을 줄이는 실용적이고 확장 가능한 사후분포 근사 알고리즘을 제공하기 위해.

제안 방법

• 진정한 사후분포와 변분 근사 사이의 피셔 산란을 최소화하는 방법으로, 이는 점수 함수의 차이에 대해 근사 밀도로 가중된 L2 노름으로 정의된다.
• 변분 가족의 지수족 구조를 활용하여 피셔 산란을 최적화에 적합한 형태로 단순화한다.
• 공액 사전 또는 평균장 독립성 가정이 필요 없는 최소화 문제를 효율적으로 해결하기 위해 반복적으로 가중치를 조정하는 최소 제곱법(IRLS) 알고리즘을 개발한다.
• 업데이트 식에서 계산이 불가능한 기대값을 처리하기 위해, 변분 분포의 평균 주변에서의 두 번째 차수 테일러 전개를 사용하여 사후 모멘트를 근사한다.
• 피셔 산란 최소화에서 유도된 닫힌 형태의 식을 사용하여 정규 변분 근사의 정밀도 행렬과 평균을 업데이트한다.
• 이 방법은 로지스틱 회귀에 적용되며, 매개변수의 비선형 함수의 기대값을 이차형식의 추적 기반 근사로 계산한다.

실험 결과

연구 질문

• RQ1 피셔 산란 최소화가 쿨백-라이블러 산란 최소화보다 베이지안 추론에서 더 정확한 사후분포 근사를 가능하게 할 수 있는가?
• RQ2 제안된 방법이 공액성 또는 평균장 가정 없이도 계산 효율성을 유지하는가?
• RQ3 피셔 산란 기반 근사는 사후 모멘트 추정과 사후 모델 증거의 하한 추정에서 어떻게 성능을 발휘하는가?
• RQ4 KL 기반 방법에 비해 피셔 산란 접근법이 사후 모멘트 추정의 오차 통제를 개선하는가?
• RQ5 로지스틱 회귀와 같은 고차원 모델에 대해 IRLS 기반 알고리즘이 계산적으로 확장 가능한가?

주요 결과

• 제안된 피셔 산란 기반 변분 추론 방법은 기존 쿨백-라이블러 최소화 방법보다 사후분포의 고차수 특징을 더 잘 포착함으로써 사후 모멘트 근사에서 뚜렷한 향상을 이룬다.
• 로지스틱 회귀, 벤치마크 모델에서 이 방법은 수렴 속도가 더 빠르고, KL 기반 접근법보다 더 정확한 사후 평균과 분산 추정치를 제공함으로써 뛰어난 성능을 보였다.
• 알고리즘은 계산적으로 효율적이며, 몬테카를로 방법보다 수 개의 주기 빠른 속도로 작동하면서도 사후분포 근사의 정확도를 유지한다.
• 계산이 불가능한 기대값을 위한 두 번째 차수 테일러 근사를 사용함으로써 몬테카를로 샘플링 없이 실용적인 구현이 가능해졌으며, 계산 오버헤드가 감소했다.
• 이 방법은 정규화 상수나 공액 사전에 의존하지 않아 표준 변분 추론보다 더 넓은 범위의 모델에 적용 가능하다.
• 피셔 산란에선 사후 모델 증거가 덧셈 상수로 나타나지 않지만, 다른 산란 측정법과의 연결 고리는 모델 증거에 대한 하한을 유도할 가능성이 있음을 시사한다.