[논문 리뷰] Bayesian Quadrature for Multiple Related Integrals

Xiaoyue Xi, François‐Xavier Briol외 1명|arXiv (Cornell University)|2018. 01. 12.

Advanced Multi-Objective Optimization Algorithms인용 수 5

한 줄 요약

이 논문은 다중 출력 가우시안 프로세스를 통해 다수의 관련 함수를 동시에 통합하기 위한 베이지안 적분의 새로운 확장법을 제안한다. 이 방법은 통합 함수 간의 정보 공유를 통해 수치적 효율성과 불확실성 정량화를 향상시키며, 잘 지정된 경우 후행 분산의 수렴 속도가 $\mathcal{O}_P(N^{-3/4})$에 도달한다. 이는 다중 신뢰도 모델링 및 글로벌 well-illuminated 문제에서의 성능 향상을 보여준다.

ABSTRACT

Bayesian probabilistic numerical methods are a set of tools providing posterior distributions on the output of numerical methods. The use of these methods is usually motivated by the fact that they can represent our uncertainty due to incomplete/finite information about the continuous mathematical problem being approximated. In this paper, we demonstrate that this paradigm can provide additional advantages, such as the possibility of transferring information between several numerical methods. This allows users to represent uncertainty in a more faithful manner and, as a by-product, provide increased numerical efficiency. We propose the first such numerical method by extending the well-known Bayesian quadrature algorithm to the case where we are interested in computing the integral of several related functions. We then prove convergence rates for the method in the well-specified and misspecified cases, and demonstrate its efficiency in the context of multi-fidelity models for complex engineering systems and a problem of global illumination in computer graphics.

연구 동기 및 목표

• 기존의 베이지안 적분이 동시에 여러 관련 통합을 다루는 데에 한계가 있음을 해결하기 위해.
• 여러 통합 함수 간의 정보를 공유함으로써 유한 샘플 성능을 향상시키는 공동 확률적 수치 방법을 개발하기 위해.
• 잘 지정된 및 잘못 지정된 사전 분포 하에서 다수의 통합에 대한 공동 추론에 대한 이론적 수렴 보장을 제공하기 위해.
• 다중 신뢰도 모델링 및 컴퓨터 그래픽스와 같은 실제 적용 분야에서의 방법의 실용적 이점을 입증하기 위해.
• 다중 출력 통합에서 행렬 값 커널과 효율적인 샘플링 전략의 잠재적 가능성을 탐색하기 위해.

제안 방법

• 표준 베이지안 적분을 다중 통합 함수 $f_1, \ldots, f_D$를 분리 가능한 커널을 가진 다중 출력 가우시안 프로세스 사전분포로 함께 모델링함으로써 확장한다.
• 영 평균 가우시안 프로세스 사전분포를 사용하며, 행렬 값 공분산 함수 $\bm{C}(\bm{x}, \bm{x}') = \bm{K} \otimes c(\bm{x}, \bm{x}')$를 갖는다. 여기서 $\bm{K}$는 기능 간 상관관계를 캡처하고, $c$는 스칼라 커널이다.
• 설계 점 $\bm{X}$에서의 함수 평가를 조건으로 하여 각 통합 $\Pi[f_d]$의 후행 분포를 유도하며, 이는 통합에 대한 다변량 정규 후행 분포를 도출한다.
• 커널 행렬 $\bm{C}(\bm{X}, \bm{X})$와 관측된 함수 값 $f(\bm{X})$를 포함한 폐쇄형 표현식을 사용하여 후행 평균과 분산을 계산한다.
• 낮은 랭크 근사와 효율적인 선형 대수 기법을 활용하여 대규모 $D$와 $N$에 대한 확장성을 확보한다.
• 다중 출력 GP의 기능 간 의존성을 모델링하기 위해 LMC(Large Model of Coregionalization) 커널 구조를 사용한다.

실험 결과

연구 질문

• RQ1 베이지안 적분은 다수의 관련 통합을 동시에 추정함으로써 수치 정확도와 불확실성 정량화를 향상시킬 수 있는가?
• RQ2 다중 출력 설정에서 각 통합의 후행 분산에 대해 확립할 수 있는 이론적 수렴 속도는 무엇인가?
• RQ3 특히 분리 가능한 커널과 LMC 커널을 사용할 때 커널 구조의 선택이 방법의 성능에 미치는 영향는 어떠한가?
• RQ4 고차원이고 상관관계가 높은 통합 문제에서 독립적인 베이지안 적분 또는 몬테카를로 방법에 비해 계산 효율성에서 뚜렷한 성능 향상을 달성할 수 있는가?
• RQ5 실제 응용에서 통합 함수 간 공유된 정보가 후행 분산과 통합 오차에 미치는 영향는 어떠한가?

주요 결과

• 제안된 다중 출력 베이지안 적분은 분리 가능한 커널 하에서 각 통합에 대해 후행 분산 수렴 속도가 $\mathcal{O}_P(N^{-3/4})$에 도달하며, 특정 설정에서는 스칼라 BQ보다 향상된 성능을 보인다.
• 출력 수 $D$를 늘릴수록 통합 오차가 크게 감소하며, 글로벌 일조 문제에서 다섯 출력 BQ는 한 출력 BQ보다 상당히 낮은 오차를 기록한다.
• 정보 공유 덕분에 다중 출력 케이스에서 개별 통합의 후행 분산이 작아지며, 이는 지식 부족 불확실성 감소를 반영한다.
• 다중 신뢰도 모델링에서 뚜렷한 성능 향상이 나타나며, 상관관계가 높은 다수의 모델을 동시에 통합하는 데 유리하다.
• 컴퓨터 그래픽스 분야에서는 픽셀당 수천 개의 상관관계가 높은 통합 함수를 포함하는 글로벌 일조 문제에서 더 빠른 수렴을 가능하게 하며, 가중치 사전 계산의 가능성도 있다.
• LMC와 같은 행렬 값 커널의 사용은 통합 간 상관관계를 체계적으로 모델링할 수 있게 하여 추가 계산 비용을 최소화하면서도 정확도 향상을 이룬다.