[논문 리뷰] Frequentist Consistency of Generalized Variational Inference

Jeremias Knoblauch|arXiv (Cornell University)|2019. 12. 10.

Gaussian Processes and Bayesian Inference참고 문헌 50인용 수 4

한 줄 요약

이 논문은 일반화된 변분 추론에 대한 빈도주의 일致성을 확립하며, 근사 사후 분포가 참 파라미터 값에서 Dirac 델타로 수렴함을 증명한다. 규칙성 조건 하에서, 방법은 근사 사후 분포의 수열이 점점 참 파라미터 주위로 점점 더 집중되며, 표본 크기가 증가함에 따라 오차 항이 거의 확실히 사라짐을 보장한다.

ABSTRACT

This paper investigates Frequentist consistency properties of the posterior distributions constructed via Generalized Variational Inference (GVI). A number of generic and novel strategies are given for proving consistency, relying on the theory of $Γ$-convergence. Specifically, this paper shows that under minimal regularity conditions, the sequence of GVI posteriors is consistent and collapses to a point mass at the population-optimal parameter value as the number of observations goes to infinity. The results extend to the latent variable case without additional assumptions and hold under misspecification. Lastly, the paper explains how to apply the results to a selection of GVI posteriors with especially popular variational families. For example, consistency is established for GVI methods using the mean field normal variational family, normal mixtures, Gaussian process variational families as well as neural networks indexing a normal (mixture) distribution.

연구 동기 및 목표

• 베이지안 비모수 및 통계 학습 설정에서 일반화된 변분 추론에 대한 빈도주의 일치성을 확립하기 위해.
• 근사 사후 분포의 수열이 참 파라미터 값에서 점 질량으로 수렴함을 보여주기 위해.
• 표본 크기가 증가함에 따라 근사 오차 항이 거의 확실히 사라지는 데 필요한 충분한 조건을 도출하기 위해.
• Γ 수렴과 동일 강력성의 개념을 사용하여 변분 목표 함수의 수렴을 체계화하기 위해.

제안 방법

• 미약한 규칙성 가정 하에서 변분 목표 함수 $\overline{F}_n$ 가 $\mathbb{E}_q[\mathbb{E}_\mu[\ell(\bm{\theta}, \bm{x})]]$ 로 Γ 수렴함을 보임.
• Ψ와 $\overline{F}_n$ 에 관한 보조정리들을 통해 $\overline{F}_n$ 의 동일 강력성을 확립하여 목표 함수에 대한 균일한 하한을 보장함.
• $\varepsilon_n$-최소화자들을 $\overline{F}_n(q_n) \leq \inf_q \overline{F}_n(q) + \varepsilon_n$ 를 만족하는 수열 $q_n$ 으로 정의하며, $\varepsilon_n$ 은 표본 기대값에서의 경험적 편차로 주어짐.
• 경험 평균의 거의 확실 수렴을 이용하여 데이터 생성 측도 $\mu$ 하에서 $\varepsilon_n \to 0$ 이 거의 확실히 성립함을 증명함.
• 참고문헌 [gammaConvergence] 의 보조정리 7.24 를 적용하여 $\overline{q}_n \overset{\mathcal{D}}{\to} \delta_{\bm{\theta}^*}$ 가 거의 확실히 성립함을 결론함.
• 기본 측도 $\mu$ 하에서 손실 함수의 거의 확실 유한성을 보장하기 위해 Fubini 유형의 추론과 기대값의 잘 정의됨을 확보함.

실험 결과

연구 질문

• RQ1 일반화된 변분 추론이 빈도주의 의미에서 일관된 사후 근사 분포를 생성하는 조건은 무엇인가?
• RQ2 Γ 수렴과 동일 강력성의 개념을 통해 변분 목표 $\overline{F}_n$ 의 수렴을 어떻게 확립할 수 있는가?
• RQ3 근사 오차 $\varepsilon_n$ 이 $n \to \infty$ 일 때 거의 확실히 사라지도록 보장하는 조건은 무엇인가?
• RQ4 근사 사후 분포 수열 $\overline{q}_n$ 이 참 파라미터 $\bm{\theta}^*$ 에서 Dirac 델타로 수렴함을 보일 수 있는가?
• RQ5 사전 정보의 강도와 경험적 리스크 최소화 간의 상호작용은 변분 사후의 일관성에 어떻게 영향을 미치는가?

주요 결과

• 제시된 가정 하에서 근사 사후 분포 수열 $\overline{q}_n$ 이 참 파라미터 $\bm{\theta}^*$ 에서 Dirac 델타로 수렴함을 보이며, 즉 $\overline{q}_n \overset{\mathcal{D}}{\to} \delta_{\bm{\theta}^*}$ 이다.
• 오차 항 $\varepsilon_n = 2\left| \mathbb{E}_{\overline{q}_n}\left[\frac{1}{n}\sum_{i=1}^n \ell(\bm{\theta}, x_i) \right] - \mathbb{E}_\mu[\ell(\bm{\theta}, \bm{x})] \right|$ 는 $n \to \infty$ 일 때 거의 확실히 0으로 수렴한다.
• 변분 목표 $\overline{F}_n$ 는 동일 강력성을 보이며, 이는 최소화 수열이 적절한 위상에서 유계임을 보장한다.
• 가정 LABEL:AS:min_exists, LABEL:AS:dirac, LABEL:AS:D, 및 LABEL:AS:suitable 하에서 $\overline{F}_n$ 이 인구 위험 $\mathbb{E}_q[\mathbb{E}_\mu[\ell(\bm{\theta}, \bm{x})]]$ 로 Γ 수렴함이 입증된다.
• 유한 최소화자의 존재는 사전이 무한히 나쁘지 않으며, 사후 근사가 사전보다 개선됨을 보장한다.
• $\overline{q}_n$ 이 $\delta_{\bm{\theta}^*}$ 로 수렴함은 Γ 수렴, 동일 강력성, 경험 평균의 거의 확실 수렴의 조합을 통해 증명된다.