[논문 리뷰] Alpha-Beta Divergence For Variational Inference

Jean-Baptiste Regli, Ricardo Silva|arXiv (Cornell University)|2018. 05. 02.

Gaussian Processes and Bayesian Inference참고 문헌 17인용 수 20

한 줄 요약

이 논문은 KL, Rényi 및 감마 발산을 일반화하는 통합된 변분 추론 목적함수로 척도 불변 알파-베타(sAB) 발산을 도입한다. 몬테 카를로 방법을 직접 사용하여 sAB 발산을 최적화함으로써 질량 커버리지, 모드 탐색, 이상치에 대한 강건성 사이의 부드러운 트레이드오���을 가능하게 하며, 오염된 데이터를 가진 회귀 과제에서 향상된 성능을 보여준다.

ABSTRACT

This paper introduces a variational approximation framework using direct optimization of what is known as the {\it scale invariant Alpha-Beta divergence} (sAB divergence). This new objective encompasses most variational objectives that use the Kullback-Leibler, the R{é}nyi or the gamma divergences. It also gives access to objective functions never exploited before in the context of variational inference. This is achieved via two easy to interpret control parameters, which allow for a smooth interpolation over the divergence space while trading-off properties such as mass-covering of a target distribution and robustness to outliers in the data. Furthermore, the sAB variational objective can be optimized directly by repurposing existing methods for Monte Carlo computation of complex variational objectives, leading to estimates of the divergence instead of variational lower bounds. We show the advantages of this objective on Bayesian models for regression problems.

연구 동기 및 목표

• KL, Rényi, 감마 발산과 같은 기존의 변분 추론 목적함수들을 알파-베타 발산을 통해 하나의 프레임워크로 통합하는 것.
• 증거 하한 경량화(ELBO)에 의존하지 않고 sAB 발산을 직접 최적화함으로써 더 정확하고 해석 가능한 발산 추정을 가능하게 하는 것.
• 질량 커버리지와 이상치에 대한 강건성 사이의 부드러운 보간이 가능한 융통성 있는 변분 추론 프레임워크를 제공하는 것.
• 데이터 오염 및 이상치 조건 하에서 베이지안 회귀 모델에서 sAB 목적함수의 실용적 이점을 입증하는 것.

제안 방법

• 표준 AB 발산의 확장으로서 척도 불변 알파-베타(sAB) 발산을 제안하며, 변분 및 진짜 공동 분포에 대한 기대값을 통해 정의된다.
• sAB 발산에 대한 닫힌 형태의 표현식을 유도하며, 특수한 매개변수 값(예: α=0, β=0)의 경우를 포함하여 수치적 안정성을 확보한다.
• ELBO 최대화가 필요 없이 sAB 발산을 직접 계산하고 최적화할 수 있는 몬테 카를로 추정 전략을 개발한다.
• 표준 딥러닝 최적화 파ip라인과 호환되는 완전히 인라인된 가우시안 변분 가족을 사후 분포 근사에 사용한다.
• ADAM을 사용한 확률적 경량 하강법과 몬테 카를로 샘플링을 결합하여 베이지안 신경망을 훈련하고 최적화 중 sAB 발산을 추정한다.
• α와 β 하이퍼파rameter를 그리드 기반으로 최적화하기 위해 중첩 교차검증을 적용하며, 검증 성능에 기반해 최적의 설정을 선별한다.

실험 결과

연구 질문

• RQ1 sAB 발산은 KL, Rényi, 감마 발산과 같은 기존의 변분 추론 목적함수들을 하나의 프레임워크 안에서 통합하고 일반화할 수 있는가?
• RQ2 sAB 발산을 직접 최적화하면 이상치가 존재하는 상황에서 기존의 ELBO 기반 변분 추론에 비해 더 나은 사후 근사가 가능한가?
• RQ3 α와 β 매개변수는 변분 추론에서 질량 커버리지와 모드 탐색 행동 사이의 트레이드오프를 어떻게 제어하는가?
• RQ4 sAB 목적함수는 베이지안 회귀 과제에서 데이터 오염에 대해 어느 정도 강건성을 향상시키는가?
• RQ5 sAB 프레임워크는 기존 딥러닝 라이브러리와 몬테 카를로 샘플링 기법을 사용해 효율적으로 구현할 수 있는가?

주요 결과

• sAB 발산은 KL, Rényi, 감마 발산을 특수 케이스로 포함하며, 변분 추론을 위한 통합 목적함수를 제공한다.
• sAB 발산을 직접 최적화함으로써 ELBO 최대화에 내재된 편향을 피하고 진짜 발산을 더 정확하게 추정할 수 있다.
• 5% 이상치가 포함된 시뮬레이션 회귀 데이터에서, α=1.5, β=0.5로 설정한 sAB 목적함수는 표준 VI(ELBO) 및 기타 발산 기반 방법보다 낮은 테스트 오차를 기록했다.
• 이상치에 대한 강건성이 입증되었다: α>1 및 β<1로 설정한 모델은 오염된 데이터 포인트에 대해 감소된 민감도를 보였다.
• 인위적으로 오염된 출력을 가진 UCI 기준 데이터셋에서, 조정된 α와 β 매개변수를 사용한 sAB 프레임워크는 예측 정확도와 불확실성 캘리브레이션 측면에서 베이스라인 방법을 능가했다.
• 프레임워크는 확장 가능하며 표준 딥러닝 도구와 호환되어 ADAM과 몬테 카를로 샘플링을 사용한 엔드 투 엔드 베이지안 신경망 훈련을 가능하게 한다.