[논문 리뷰] Yes, but Did It Work?: Evaluating Variational Inference

Yuling Yao, Aki Vehtari외 2명|arXiv (Cornell University)|2018. 02. 07.

Computational and Text Analysis Methods인용 수 67

한 줄 요약

이 논문은 변분 추론에 두 가지 진단법을 도입한다: PSIS는 joint posterior 품질을 평가하고 추정치를 보정하며, VSBC는 VI 포인트 추정치의 평균 교정 여부를 평가한다. 재매개화(reparameterization) 및 실용적 임계값에 대한 지침을 제공한다.

ABSTRACT

While it's always possible to compute a variational approximation to a posterior distribution, it can be difficult to discover problems with this approximation. We propose two diagnostic algorithms to alleviate this problem. The Pareto-smoothed importance sampling (PSIS) diagnostic gives a goodness of fit measurement for joint distributions, while simultaneously improving the error in the estimate. The variational simulation-based calibration (VSBC) assesses the average performance of point estimates.

연구 동기 및 목표

• ELBO 최적화를 넘어서 변분 근사치를 진단할 필요성을 제시한다.
• VI를 평가하기 위한 두 가지 진단법을 도입한다: PSIS는 결합 포스터리어 품질, VSBC는 평균 포인트 추정치의 보정도를 평가한다.
• 해석, 임계값 및 재매개화에 대한 실용적 지침을 제공한다.
• 대표적인 베이지안 모델 및 VI 설정에서 진단법을 시연한다.

제안 방법

• PSIS( Pareto-smoothed importance sampling )를 제안하여 Pareto 꼬리 모수 k를 점검하고 이를 이용해 추정치를 보정함으로써 VI 근사의 품질을 진단한다.
• PSIS를 진단으로 사용하여 가중합(식 형태 (3))을 통해 기대값에 대한 안정화 추정치를 얻는다.
• VSBC(variational simulation-based calibration)를 도입하여 prior에서 데이터를 시뮬레이션하고 보정 확률을 평가함으로써 VI 유도 포인트 추정치의 평균 보정을 평가한다.
• k의 재매개화에 따른 불변성과 p와 q 사이의 Rényi 발산과의 관계를 논의한다.
• VI가 PSIS 진단에 의해 재매개화로 개선될 때의 경우를 살펴보고, 일반적인 VI 설정(예: ADVI, 계층 모델, 로지스틱/선형 회귀)에서 실용적 예를 제시한다.
• 각 진단의 한계점과 상호 보완적 특성을 개략한다.

실험 결과

연구 질문

• RQ1 주어진 데이터 세트에 대해 VI 포스터리어 q(θ)와 진짜 포스터리어 p(θ|y) 간의 차이를 PSIS 진단으로 정량화할 수 있는가?
• RQ2 모델에서 생성된 데이터에 대해 VI 유도 포인트 추정치가 평균적으로 보정되었는지 VSBC 진단으로 평가할 수 있는가?
• RQ3 재매개화와 모델 구조가 PSIS와 VSBC에 의해 진단될 때 VI의 신뢰성에 어떤 영향을 미치는가?
• RQ4 Pareto k와 VSBC 결과에 대한 실용적 임계값은 신뢰할 만한 VI와 튜닝 또는 MCMC가 필요한 경우를 어떻게 구분하는가?
• RQ5 이 진단법은 선형, 로지스틱, 계층적 및 고차원 모델에서 어떻게 작동하는가?

주요 결과

• PSIS는 VI 품질을 정량화하는 진단형 모수 k를 제공한다; 작게는 k(<0.5)면 PSIS 수렴이 신뢰할 만하고 q가 p에 근접함을 시사하며, 크게는 k(>0.7)일 때는 VI의 신뢰성이 떨어지고 튜닝이나 MCMC가 필요함을 경고한다.
• PSIS 보정 추정치(가중치가 부드럽게 처리된 가중합을 이용한) 는 일반 VI나 순수 IS에 비해 편향과 분산을 줄여 유한 샘플 성능을 향상시킬 수 있다.
• VSBC는 주변 보정 확률의 대칭성 검정을 통해 VI 포인트 추정치의 평균 보정을 평가한다; 결과는 개별 한계에서 편향이 있을 수 있음을 드러낼 수 있으며, 평균적으로는 합리적으로 보이더라도 현실 데이터에선 다를 수 있다.
• 재매개화는 VI 품질을 크게 바꿀 수 있으며, PSIS를 통해 매개변수화 선택을 안내하여 k를 줄이고 적합도를 개선할 수 있다(예: Eight-School 예제에서 비중심 매개변수화).
• VSBC는 평균적 편향성과 데이터셋 특성에 따른 성능 간 차이를 구분한다; 평균적으로 우수한 성능이 반드시 특정 실현에 대한 정확성을 보장하지는 않으며, 그 반대도 마찬가지이다.
• 응용은 선형 및 로지스틱 회귀, 계층 모델, 그리고 말도처럼 고차원적인 암 진단 분류에서의 말뚝 가설(prior) 하우스-오 우주(prior)와 함께 PSIS와 VSBC를 보여 주며, VI가 성공하거나 실패하는 위치와 진단이 어떻게 조정으로 이어지는지 보여준다.