[논문 리뷰] Improving Quadrature for Constrained Integrands

Henry Chai, Roman Garnett|arXiv (Cornell University)|2018. 02. 13.

Gaussian Processes and Bayesian Inference인용 수 10

한 줄 요약

이 논문은 비음수 또는 유계 함수와 같이 제약 조건이 있는 함수의 적분을 위해, 로그 또는 제곱근과 같은 변환을 활용하여 정확도와 효율성을 향상시키는 새로운 베이지안 적분 프레임워크를 제안한다. 기존 방법과 비교해 더 빠른 수렴과 뛰어난 성능을 보이며, 합성 및 실세계 데이터에서 검증되었다. 특히 원래 공간에서의 우도 최대화를 통한 하이퍼파rameter 최적화를 제안함으로써, 변환된 공간에서의 최적화가 아닌 원래 공간에서의 하이퍼파rameter 최적화를 통해 성능을 향상시켰다.

ABSTRACT

We present an improved Bayesian framework for performing inference of affine transformations of constrained functions. We focus on quadrature with nonnegative functions, a common task in Bayesian inference. We consider constraints on the range of the function of interest, such as nonnegativity or boundedness. Although our framework is general, we derive explicit approximation schemes for these constraints, and argue for the use of a log transformation for functions with high dynamic range such as likelihood surfaces. We propose a novel method for optimizing hyperparameters in this framework: we optimize the marginal likelihood in the original space, as opposed to in the transformed space. The result is a model that better explains the actual data. Experiments on synthetic and real-world data demonstrate our framework achieves superior estimates using less wall-clock time than existing Bayesian quadrature procedures.

연구 동기 및 목표

• 베이지안 추론에서 흔히 나타나는 비음수 또는 유계 함수와 같은 제약 조건이 있는 함수에 대해 일반적인 베이지안 프레임워크를 개발하는 것.
• 이론적 방법들이 높은 동적 범위를 가지는 함수, 예를 들어 우도 표면과 같은 경우에 효과적으로 대응하지 못하는 문제를 해결하는 것.
• 기존 방법이 변환된 공간에서가 아니라 원래 함수 공간에서의 우도를 최대화함으로써 하이퍼파rameter 학습을 향상시켜 더 나은 모델 校정을 이끌어내는 것.
• 수치적 적분에 비용이 많이 들기 때문에, 제약 조건 하에서의 적분에 대한 닫힌 형태의 근사식을 제공함으로써 효율적이고 정확한 계산을 가능하게 하는 것.

제안 방법

• 비음수성과 같은 제약 조건을 강제하기 위해, 적분 함수의 변환된 형태(예: 로그 또는 제곱근)에 대해 가우시안 프로세스 사전분포를 사용한다.
• 절단된 다변수 정규분포를 이용해 적분의 사후 모멘트에 대한 닫힌 형태의 표현식을 유도함으로써 기대값과 분산의 해석적 계산을 가능하게 한다.
• 기존의 변환된 공간이 아닌 원래 공간에서 관측된 함수 값의 우도를 최대화하는 새로운 하이퍼파rameter 최적화 절차를 적용한다.
• 높은 동적 범위를 가지는 비음수 함수의 경우, 분산 안정성과 수치적 조건 개선을 위해 로그 변환이 권장된다.
• 가우시안 프로세스 사후분포에서 적절한 변환과 절단을 적용함으로써 유계 함수의 경우에도 적용 가능하도록 확장한다.
• 이론적 유도 과정은 다변수 정규분포의 성질과 누적분포함수를 활용하여 절단된 가우시안 분포의 모멘트를 계산하는 데 사용된다.

실험 결과

연구 질문

• RQ1 비음수 또는 유계 함수와 같이 단순한 비음수성 이상의 제약 조건이 있는 함수에 대해 통합된 베이지안 프레임워크를 개발할 수 있는가?
• RQ2 기존 방법이 변환된 공간에서가 아니라 원래 함수 공간에서 하이퍼파rameter를 최적화할 경우, 모델 성능과 校정에 어떤 영향을 미치는가?
• RQ3 높은 동적 범위를 가지는 함수, 예를 들어 우도 함수와 같은 경우에 로그 변환을 적용할 경우 어떤 영향을 미치는가?
• RQ4 다양한 제약 조건 하에서 적분의 사후 모멘트에 대한 닫힌 형태의 근사식을 유도할 수 있는가? 이를 통해 비용이 많이 드는 수치적 적분을 피할 수 있는가?
• RQ5 기존의 베이지안 적분 및 몬테카를로 방법과 비교했을 때, 제안된 방법은 정확도와 계산 효율성 측면에서 어떻게 다른가?

주요 결과

• 제안된 방법은 기존의 베이지안 적분 방법보다 더 높은 정확도를 달성하며, 특히 우도 표면와 같은 높은 동적 범위를 가지는 적분 함수에서 뛰어난 성능을 보였다.
• 원래 공간에서 하이퍼파rameter를 최적화함으로써, 실제 데이터를 더 잘 설명할 수 있었으며, 변환된 공간에서 최적화하는 방법에서 관찰되는 바람직하지 않은 행동을 피할 수 있었다.
• 벽시계 시간을 크게 단축시키면서도 정확도를 유지하거나 향상시켜, 몬테카를로 및 베이지안 몬테카를로 방법을 모두 능가하는 성능을 보였다.
• 로그 변환의 사용은 이전 방법들(예: [9])이 처리하지 못했던 극단적인 동적 범위를 가지는 함수의 효과적인 처리를 가능하게 하였다.
• 제약 조건 하에서의 적분에 대한 사후 모멘트에 대한 닫힌 형태의 표현식이 도출되었으며, 이는 수치 근사 없이 효율적이고 정확한 계산을 가능하게 하였다.
• 실세계 데이터에 대한 실험 결과, 제안된 방법이 모델 증거와 예측 분포의 더 정확하고 신뢰할 수 있는 추정을 제공하는 것으로 확인되었다.