[논문 리뷰] Automated Model Selection with Bayesian Quadrature

Henry Chai, Jean-François Ton외 2명|arXiv (Cornell University)|2019. 02. 26.

Fault Detection and Control Systems인용 수 5

한 줄 요약

이 논문은 관측값과 사후 모델 확률 간의 상호정보량을 최대화하기 위해 적극적으로 가능도 평가를 선택하는 베이지안 적분 기반 방법을 제안한다. 이는 몬테카를로나 표준 베이지안 적분보다 훨씬 적은 가능도 평가로 더 정확한 모델 선택을 달성하며, 특히 계산 비용이 높은 환경에서 유리하다.

ABSTRACT

We present a novel technique for tailoring Bayesian quadrature (BQ) to model selection. The state-of-the-art for comparing the evidence of multiple models relies on Monte Carlo methods, which converge slowly and are unreliable for computationally expensive models. Previous research has shown that BQ offers sample efficiency superior to Monte Carlo in computing the evidence of an individual model. However, applying BQ directly to model comparison may waste computation producing an overly-accurate estimate for the evidence of a clearly poor model. We propose an automated and efficient algorithm for computing the most-relevant quantity for model selection: the posterior probability of a model. Our technique maximizes the mutual information between this quantity and observations of the models' likelihoods, yielding efficient acquisition of samples across disparate model spaces when likelihood observations are limited. Our method produces more-accurate model posterior estimates using fewer model likelihood evaluations than standard Bayesian quadrature and Monte Carlo estimators, as we demonstrate on synthetic and real-world examples.

연구 동기 및 목표

• 계산 비용이 높은 모델에 대해 모델 증거를 추정하는 데 있어 몬테카를로 방법의 비효율성을 해결한다.
• 성능이 열악한 모델에 샘플을 과도하게 할당할 수 있는 표준 베이지안 적분의 한계를 극복한다.
• 사후 모델 확률에 대한 정보량을 기반으로 가능도 평가의 우선순위를 정하는 적극적 학습 전략을 개발한다.
• 제한된 가능도 평가로 다양한 모델 공간 간의 효율적이고 정확한 모델 비교를 가능하게 한다.

제안 방법

• 가능도 관측값과 사후 모델 확률 간의 상호정보량을 최대화하는 새로운 할당 함수를 제안한다.
• 모델 증거의 결합 분포를 가우시안 프로세스로 모델링하여 다양한 모델 간의 불확실성을 전파한다.
• 모든 모델을 균형 있게 탐색하기 위해 사후 모델 확률 벡터의 엔트로피를 적극적 샘플링의 타겟으로 삼는다.
• 모델 증거 추정치의 조건부 분포를 활용하여 상호정보량에 대한 계산 가능 근사를 유도한다.
• 가장 정보량이 많은 매개변수 위치를 순차적으로 선택하는 베이지안 적분 프레임워크에 할당 함수를 통합한다.
• 다중 출력 가우시안 프로세스를 사용하여 다양한 모델 간의 가능도를 모델링함으로써 상관관계가 있는 불확실성 추정치를 가능하게 한다.

실험 결과

연구 질문

• RQ1 베이지안 적분은 개별 모델 증거 대신 사후 모델 확률을 직접 타겟으로 삼을 수 있는가?
• RQ2 가능도 관측값과 모델 사후 확률 간의 상호정보량을 기반으로 한 적극적 샘플링이 모델 선택의 샘플 효율성을 향상시키는가?
• RQ3 정확도와 수렴 속도 측면에서 제안된 방법은 표준 몬테카를로 및 베이지안 적분 접근법과 어떻게 비교되는가?
• RQ4 전체 사후 확률 대신 이진 모델 비교를 타겟으로 하는 대안적 할당 함수(예: $[z_1 > z_2]$)의 한계는 무엇인가?
• RQ5 상관관계가 있는 증거를 가진 두 개 이상의 모델 간의 모델 선택으로 확장할 수 있는가?

주요 결과

• 제안된 방법은 표준 베이지안 적분 및 몬테카를로 방법보다 훨씬 적은 가능도 평가로 더 정확한 사후 모델 확률 추정치를 달성한다.
• 합성 1차원 및 2차원 실험에서, 분수 오차와 수렴 속도 측면에서 브릿지 샘플링 및 역전이 MCMC보다 성능이 뛰어나다.
• 전체 사후 모델 확률 벡터의 엔트로피를 타겟으로 하는 것이 $[z_1 > z_2]$와 같은 이진 비교를 타겟으로 하는 것보다 더 우수한 성능을 낸다. 후자는 조기 수렴과 불안정성 문제를 야기한다.
• 대안적 방법($[z_1 > z_2]$를 타겟으로)은 높은 차원에서 빠르게 과신하게 되며, 모델 매개변수 공간을 효과적으로 탐색하지 못한다.
• 모델 증거가 상관관계가 예상되는 중첩 모델 선택 과제에서 본 방법은 강건성을 보이며, 다중 작업 가우시안 프로세스를 통한 확장 가능성까지 시사한다.
• 실험 결과, 상호정보량 기반 할당 함수는 여러 모델의 매개변수 공간을 효율적으로 동시에 탐색할 수 있게 하여, 명백히 열 劣한 모델에 대한 낭비적 샘플링을 방지한다.