[논문 리뷰] Model Evidence with Fast Tree Based Quadrature

Thomas H. Foster, Chon Lok Lei외 3명|arXiv (Cornell University)|2020. 05. 22.

Gaussian Processes and Bayesian Inference참고 문헌 6인용 수 5

한 줄 요약

이 논문은 고차원 적분을 위한 새로운 방법인 트리 사다리법(Tree Quadrature, TQ)을 소개한다. TQ는 샘플링과 적분을 분리하기 위해 회귀 트리를 사용하여 적분 도메인을 컨테이너로 분할한다. TQ는 피적합 함수의 서rogate 모델을 구축하고, 각 컨테이너를 별도로 통합하며, 임의의 방법(예: 베이지안 몬테카를로)을 사용한다. 트리의 구조는 적분 정밀도를 최대화하도록 최적화되며, 4차원 이상에서 몬테카를로 및 베이거스보다 뛰어난 정확도를 달성한다.

ABSTRACT

High dimensional integration is essential to many areas of science, ranging from particle physics to Bayesian inference. Approximating these integrals is hard, due in part to the difficulty of locating and sampling from regions of the integration domain that make significant contributions to the overall integral. Here, we present a new algorithm called Tree Quadrature (TQ) that separates this sampling problem from the problem of using those samples to produce an approximation of the integral. TQ places no qualifications on how the samples provided to it are obtained, allowing it to use state-of-the-art sampling algorithms that are largely ignored by existing integration algorithms. Given a set of samples, TQ constructs a surrogate model of the integrand in the form of a regression tree, with a structure optimised to maximise integral precision. The tree divides the integration domain into smaller containers, which are individually integrated and aggregated to estimate the overall integral. Any method can be used to integrate each individual container, so existing integration methods, like Bayesian Monte Carlo, can be combined with TQ to boost their performance. On a set of benchmark problems, we show that TQ provides accurate approximations to integrals in up to 15 dimensions; and in dimensions 4 and above, it outperforms simple Monte Carlo and the popular Vegas method.

연구 동기 및 목표

• 베이지안 추론 및 물리학 분야에서 고차원 적분의 정확한 해법을 제공하고자 하며, 기존 방법들이 차원의 극복 문제로 인해 실패하는 문제를 해결하고자 한다.
• 샘플링 과정을 적분과 분리함으로써, TQ가 설계 제약 없이 최신 기술의 샘플러를 활용할 수 있도록 한다.
• 모든 샘플링 방법과 각 컨테이너에 대한 적분 규칙을 활용할 수 있는 확장성 있고 빠르며 정밀한 통합 프레임워크를 개발하고자 한다.
• 컨테이너 기여도 분석 및 제거에 대한 민감도를 통해 통합 추정치의 견고성과 신뢰성을 평가할 수 있는 진단 도구를 제공하고자 한다.

제안 방법

• TQ는 D차원 적분 도메인 Ω를 상호배타적인 컨테이너로 분할하기 위해 회귀 트리를 사용하며, 분할은 적분 정밀도를 극대화하도록 최적화된다.
• 각 컨테이너는 베이지안 몬테카를로와 같이 임의의 선택된 통합 방법을 사용하여 별도로 통합되며, 이는 기존 기법과의 하이브리드화를 가능하게 한다.
• 트리의 구조는 차원에 비례하는 선형 시간 내에 구축되며, 고차원 문제에 대한 확장성 확보가 가능하다.
• 함수 평가 점은 MCMC, 네스트드 샘플링 또는 액티브 샘플링 등 어떤 분포에서든 추출할 수 있으며, 핵심 통합 메커니즘은 수정이 필요 없다.
• TQ는 컨테이너 제거 및 누적 통합 추적을 통해 진단 기능을 제공하며, 추정치의 안정성과 민감도를 시각화할 수 있다.
• 함수의 근사 샘플링은 컨테이너의 통합 기여도 비례 확률로 컨테이너를 선택함으로써 가능해지며, 이는 사후 분포 탐색 및 모델 검증에 기여한다.

실험 결과

연구 질문

• RQ1 트리 기반 서rogate 모델이 샘플링과 적분을 분리함으로써 고차원 적분의 정확도를 향상시킬 수 있는가?
• RQ2 TQ는 몬테카를로 및 베이거스와 같은 표준 방법과 비교해 고차원 환경에서 어떻게 성능을 발휘하는가?
• RQ3 TQ는 MCMC나 네스트드 샘플링과 같은 고급 샘플링 전략을 통합 엔진을 수정하지 않고 효과적으로 활용할 수 있는가?
• RQ4 특정 컨테이너의 포함 또는 제거에 대해 TQ의 통합 추정치는 어느 정도 견고한가?
• RQ5 컨테이너 기여도를 기반으로 한 진단 도구는 통합 추정치의 불안정성 또는 정확도 저하를 신뢰성 있게 나타낼 수 있는가?

주요 결과

• TQ는 최대 15차원까지 정확한 통합 근사를 달성하며, 전통적 사다리법의 일반적인 한계를 초월하는 확장성을 입증한다.
• 4차원 이상에서는 TQ가 단순 몬테카를로 및 베이거스 알고리즘보다 정확도와 수렴 속도 면에서 뛰어난 성능을 보인다.
• TQ는 MCMC 및 네스트드 샘플링과 같은 고급 샘플러에서 유래한 샘플을 사용할 때도 성능이 견고하며, 일반적으로 이러한 샘플러는 기존 통합 프레임워크와 호환되지 않는다.
• 컨테이너 제거에 따른 통합 추정치의 진단 플롯은 TQ가 신뢰할 수 있을 경우 안정적인 행동(녹색 선)을 보이며, 불안정하거나 발산하는 경향(빨간/주황색 선)은 특정 영역에 민감함을 나타낸다.
• 컨테이너 크기별 누적 통합 플롯은 특정 컨테이너가 기여도가 극도로 높을 경우 급격한 점프를 보이며, 이는 서rogate 모델의 잠재적인 정확도 저하 또는 불연속성의 징후를 드러낸다.
• 이 프레임워크는 컨테이너의 통합 기여도에 비례하여 가중치를 부여함으로써 함수에서 근사 샘플링을 가능하게 하며, 이는 사후 탐색 및 모델 검증을 촉진한다.