[논문 리뷰] Understanding Variational Inference in Function-Space

David R. Burt, Sebastian W. Ober외 2명|arXiv (Cornell University)|2020. 11. 18.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 9

한 줄 요약

이 논문은 함수 공간에서 변분 추론에 Kullback-Leibler (KL) 발산을 사용할 때 근본적인 문제를 규명하며, 비퇴화된 가우시안 프로세스 사전분포와 파arametric 변분 가족을 사용할 경우 목적 함수가 잘 정의되지 않을 수 있음을 보여준다. 이는 예측 성능과 별개로 근본적인 근거를 제공하는 변분 추론 방법의 평가를 가능하게 하는 베이지안 선형 회귀를 제안한다. 이는 근사 품질의 정확한 평가를 가능하게 한다.

ABSTRACT

Recent work has attempted to directly approximate the `function-space' or predictive posterior distribution of Bayesian models, without approximating the posterior distribution over the parameters. This is appealing in e.g. Bayesian neural networks, where we only need the former, and the latter is hard to represent. In this work, we highlight some advantages and limitations of employing the Kullback-Leibler divergence in this setting. For example, we show that minimizing the KL divergence between a wide class of parametric distributions and the posterior induced by a (non-degenerate) Gaussian process prior leads to an ill-defined objective function. Then, we propose (featurized) Bayesian linear regression as a benchmark for `function-space' inference methods that directly measures approximation quality. We apply this methodology to assess aspects of the objective function and inference scheme considered in Sun, Zhang, Shi, and Grosse (2018), emphasizing the quality of approximation to Bayesian inference as opposed to predictive performance.

연구 동기 및 목표

• 함수 공간에서의 변분 추론에 있어서 KL 발산 목적 함수의 타당성과 잘 정의된 성격을 조사하는 것.
• 비퇴화된 가우시안 프로세스 사전분포와 파arametric 변분 가족을 사용할 경우 KL 발산 목적 함수가 잘 정의되지 않는 조건을 규명하는 것.
• 예측 성능과 별개로 근본적인 근거를 제공하는 기능적 변분 추론 방법 평가를 위한 벤치마크를 제안하는 것.
• Sun 등 (2018)의 방법과 같이 기존 방법에서의 근사가 추론 정확도와 예측 성능를 분리하여 영향을 미치는 방식을 평가하는 것.
• 미래의 기능적 변분 추론 향상에 대한 체계적인 평가 기반을 제공하는 것.

제안 방법

• 저자는 함수 공간에서 비퇴화된 가우시안 프로세스 사전분포와 파arametric 변분 가족 간의 KL 발산을 분석하여, 변분 가족이 사후 분포의 지지체를 커버하지 못할 경우 목적 함수가 잘 정의되지 않을 수 있음을 증명한다.
• 분석을 단일 은닉층을 가진 베이지안 신경망(ReLU 활성화 함수 포함)으로 확장하여, 사전분포와 사후분포의 폭이 다를 경우 목적 함수가 잘 정의되지 않음을 보여준다.
• 닫힌 형태의 정확한 사후분포와 함수 공간에서의 계산 가능한 KL 발산을 가진 베이지안 선형 회귀(BLR)를 제안하여 벤치마크로 활용한다.
• 이 벤치마크를 통해 예측 성능와 별개로 변분 사후분포와 진짜 사후분포를 직접 비교함으로써 근본적인 근거를 평가할 수 있다.
• 이 벤치마크를 활용하여 Sun 등 (2018)의 방법을 분석하고, 목적 함수 근사가 추론 품질에 미치는 영향을 분리하여 평가한다.
• 수치적 안정성을 확보하기 위해 조심스럽게 조정된 잡(jitter)을 사용하며, 유도점( inducing points )을 통해 특징 매핑을 정의하고, 경사 기반 최적화 방법(Adam, L-BFGS)을 통해 변분 매개변수를 최적화한다.

실험 결과

연구 질문

• RQ1 비퇴화된 가우시안 프로세스 사전분포와 파arametric 변분 가족을 사용할 경우 함수 공간에서의 KL 발산 목적 함수가 잘 정의되지 않는 조건는 무엇인가?
• RQ2 이러한 설정에서 KL 발산 목적 함수가 타당한 최적화 목표로 작용하지 못하는 이유는 무엇인가?
• RQ3 예측 성능와 별개로 기능적 변분 추론의 품질을 평가할 수 있는 벤치마크를 구축할 수 있는가?
• RQ4 Sun 등 (2018)에서와 같이 목적 함수 근사가 추론된 사후분포의 정확도에 어떤 영향을 미치는가?
• RQ5 베이지안 선형 회귀는 기능적 변분 추론 방법 평가에 얼마나 신뢰할 수 있는 벤치마크로 기능할 수 있는가?

주요 결과

• 비퇴화된 가우시안 프로세스 사전분포와 파arametric 변분 가족을 사용할 경우 함수 공간에서의 KL 발산 목적 함수는 변분 가족이 진짜 사후분포의 지지체를 커버하지 못할 경우 잘 정의되지 않는다.
• 이 문제의 근본 원인은 KL 발산의 Radon-Nikodym 미분이 변분 측도가 사후 측도에 대해 절대 연속이 아닐 경우 정의되지 않기 때문이다.
• 사전분포와 사후분포의 폭이 다를 경우 단일 은닉층 베이지안 신경망(ReLU 활성화 포함)에서도 이 문제는 지속되며, 수렴하지 않는 KL 발산이 발생한다.
• 베이지안 선형 회귀는 정확한 사후분포와 함수 공간에서의 KL 발산을 닫힌 형태로 계산할 수 있으므로 기능적 변분 추론에 대해 유효한 벤치마크를 제공한다.
• 이 벤치마크를 통해 예측 성능가 높을 수 있음에도 불구하고 변분 근사가 사후분포에 대해 열악할 수 있음을 보여주며, 추론 품질을 별도로 평가할 필요성을 강조한다.
• 본 연구는 Sun 등 (2018)의 방법에서와 같이 목적 함수 근사가 예측 성능는 유지하더라도 사후분포 근사의 품질을 심각하게 떨어뜨릴 수 있음을 드러낸다.