[논문 리뷰] Optimally-Weighted Herding is Bayesian Quadrature

Ferenc Huszár, David Duvenaud|arXiv (Cornell University)|2012. 04. 07.

Gaussian Processes and Bayesian Inference인용 수 12

한 줄 요약

이 논문은 커널 허딩이 베이지안 적분법(BQ)이 최소화하는 동일한 목적함수를 최소화함을 입증하며, BQ가 가중치가 최적화된 형태의 허딩임을 드러낸다. BQ에서 유도된 가중치를 균일한 가중치 대신 사용함으로써 순차적 베이지안 적분법(SBQ)은 O(1/N)보다 빠른 수렴 속도를 달성하여 표준 허딩 및 i.i.d. 표본 추출보다 적분 추정 정확도에서 뛰어나다.

ABSTRACT

Herding and kernel herding are deterministic methods of choosing samples which summarise a probability distribution. A related task is choosing samples for estimating integrals using Bayesian quadrature. We show that the criterion minimised when selecting samples in kernel herding is equivalent to the posterior variance in Bayesian quadrature. We then show that sequential Bayesian quadrature can be viewed as a weighted version of kernel herding which achieves performance superior to any other weighted herding method. We demonstrate empirically a rate of convergence faster than O(1/N). Our results also imply an upper bound on the empirical error of the Bayesian quadrature estimate.

연구 동기 및 목표

• 커널 허딩과 베이지안 적분법(BQ) 간의 이론적 연결 고리를 결정적 적분 추정의 맥락에서 확립하기.
• 커널 허딩에서 사용하는 최대 평균 이질성(MMD) 기준이 가우시안 프로세스 사전분포 하에서 BQ의 사후 분산과 동일함을 보여주기.
• RKHS 내 함수에 대해 최소최대 의미에서 최적 성능을 제공하는 BQ 가중치를 보여주어, BQ가 균일 가중치를 사용하는 허딩보다 뛰어남을 입증하기.
• BQ 가중치에 기반한 탐욕적 표본 추출 방법인 순차적 베이지안 적분법(SBQ)을 개발하고 분석하며, 그 수렴 속도가 뛰어남을 보여주기.
• SBQ가 표준 허딩 및 i.i.d. 표본 추출보다 더 빠른 수렴 속도를 보임을 이론적이고 경험적으로 입증하기.

제안 방법

• 논문은 커널 허딩에서 사용하는 MMD 기준이 가우시안 프로세스 사전분포 하에서 베이지안 적분법의 사후 분산과 수학적으로 동일함을 증명한다.
• 베이지안 적분법을 BQ 모델의 사후 평균에서 유도된 가중치를 갖는 가중 허딩 방법으로 재구성함으로써, RKHS 내 함수에 대해 최소최대 의미에서 최적의 성능을 보장한다.
• SBQ에서 최소화되는 목적함수가 근사적으로 서브모듈라(rsubmodular)임을 보여주어, 탐욕적 전진 선택 알고리즘에 대한 이론적 보장을 가능하게 한다.
• BQ 가중치를 사용하여 MMD를 최소화하는 방식으로 순차적으로 표본을 선택하는 탐욕 알고리즘인 순차적 베이지안 적분법(SBQ)을 도입한다.
• 새로운 표본을 추가할 때 BQ 가중치를 효율적으로 갱신하기 위해 유크스키 항등식(Woodbury identity)을 사용함으로써, N개의 표본에 대해 O(N³) 복잡도를 유지한다.
• i.i.d. 표본 추출, 표준 허딩, SBQ 간의 경험적 비교를 수행하며, 가우시안 프로세스 사전분포에서 유도된 함수의 적분에 대해 수렴 속도를 측정한다.

실험 결과

연구 질문

• RQ1 커널 허딩에서 사용하는 MMD 기준은 가우시안 프로세스 사전분포 하에서 베이지안 적분법의 사후 분산과 동일한가?
• RQ2 베이지안 적분법은 커널 허딩의 가중치 버전으로 해석될 수 있으며, 그 가중치는 최소최대 의미에서 최적인가?
• RQ3 BQ 가중치를 허딩에 적용하면 균일 가중치를 사용하는 표준 허딩보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ4 SBQ의 목적함수가 근사적으로 서브모듈라임을 보일 수 있으며, 이는 탐욕적 선택에 대한 성능 보장을 가능하게 하는가?
• RQ5 SBQ의 경험적 수렴 속도는 표준 허딩 및 i.i.d. 표본 추출보다 어떻게 다른가?

주요 결과

• 커널 허딩에서 최소화되는 MMD 기준은 가우시안 프로세스 사전분포 하에서 베이지안 적분법의 사후 분산과 수학적으로 동일하다.
• 베이지안 적분법은 BQ 가중치가 최적화된 커널 허딩의 가중치 버전과 동일하며, 이 가중치는 RKHS 내 함수에 대해 최소최대 의미에서 최적이다.
• BQ 가중치를 사용하는 순차적 베이지안 적분법(SBQ)은 O(1/N)보다 빠른 수렴 속도를 달성하여 표준 허딩 및 i.i.d. 표본 추출을 모두 능가한다.
• SBQ에서 최소화되는 목적함수는 근사적으로 서브모듈라이며, 이는 탐욕적 전진 선택의 성능에 대한 이론적 근거를 제공한다.
• 경험적 결과는 BQ 가중치를 사용하는 SBQ가 더 적은 표본 수로도 균일 가중치를 사용하는 허딩보다 낮은 경험적 오차를 기록함을 보여준다.
• 논문은 MMD 동등성에서 유도된, 베이지안 적분법 추정치의 경험적 오차에 대한 상한을 제공한다.