[논문 리뷰] Bayesian quadrature and energy minimization for space-filling design

Luc Pronzato, Anatoly Zhigljavsky|arXiv (Cornell University)|2018. 08. 31.

Probabilistic and Robust Engineering Design참고 문헌 18인용 수 3

한 줄 요약

이 논문은 적분적으로 строго 정의된 양의 정부호 커널이 엄격히 볼록인 에너지 함수를 유도함으로써 베이지안 적분, 최적 실험 설계, 공간 충만 설계 간의 이론적 연결 고리를 확립한다. 이를 통해 이질성 최소화와 BLUE 구성 간의 등가성을 가능하게 하며, 베이지안 적분에서 사후 분산 최소화(커널 이질성 최소화에 해당)가 공간 충만 설계에 대해 IMSPE의 효율적이고 계산적으로 다룰 수 있는 대안을 제공함을 보여준다.

ABSTRACT

A standard objective in computer experiments is to approximate the behaviour of an unknown function on a compact domain from a few evaluations inside the domain. When little is known about the function, space-filling design is advisable: typically, points of evaluation spread out across the available space are obtained by minimizing a geometrical (for instance, covering radius) or a discrepancy criterion measuring distance to uniformity. The paper investigates connections between design for integration (quadrature design), construction of the (continuous) BLUE for the location model, space-filling design, and minimization of energy (kernel discrepancy) for signed measures. Integrally strictly positive definite kernels define strictly convex energy functionals, with an equivalence between the notions of potential and directional derivative, showing the strong relation between discrepancy minimization and more traditional design of optimal experiments. In particular, kernel herding algorithms, which are special instances of vertex-direction methods used in optimal design, can be applied to the construction of point sequences with suitable space-filling properties.

연구 동기 및 목표

• 커널 기반 에너지 함수에 기반한 공통 프레임워크 아래 공간 충만 설계, 베이지안 적분, 최적 실험 설계를 통합하는 것.
• 베이지안 적분에서 사후 분산 최소화가 커널 이질성 및 에너지 함수 최소화와 등가임을 보여주며, IMSPE 최소화의 실용적 대안을 제공하는 것.
• 특수한 경우로서 정점-방향 방법의 일환인 커널 허딩 알고리즘들이 고품질의 공간 충만 점 수열을 생성할 수 있음을 보여주는 것.
• 위치 모델에서 연관된 오차를 가진 연속적 BLUE의 구성과 적분을 위한 최적 설계 간의 이론적 등가성을 확립하는 것.
• 비싼 시뮬레이션 기반 추론을 위한 강력한 공간 충만 성질을 가진 점 집합을 설계하기 위한 원리적이고 계산적으로 효율적인 접근법을 제공하는 것.

제안 방법

• 적분적으로 Strickly 양의 정부호 커널을 사용하여 엄격히 볼록인 에너지 함수를 정의하고, 잠재력과 방향 도함수 간의 연결 고리를 설정한다.
• 베이지안 적분에서의 사후 분산이 총 질량이 1인 부호가 있는 측도에 대한 제곱 커널 이질성의 최소값과 수학적으로 동일함을 보여준다.
• 수정된 상관관계 구조 하에서, 베이지안 적분과 연속적 최적 선형 무편향 추정량(Best Linear Unbiased Estimator, BLUE)의 구성 간 등가성을 확립한다.
• 최적 설계의 정점-방향 방법에서 유도된 커널 허딩 알고리즘을 적용하여 공간 충만 성질을 가진 수열을 생성한다.
• 카르누넨-로브 전개를 사용하여 가우시안 프로세스 모델을 베이지안 선형 모델로 재구성하고, 사후 분산 최소화를 c-최적 설계와 연결한다.
• 근사 설계 이론과 정점 교환 알고리즘을 활용하여 최적 설계 조건을 계산하고, 이를 정확한 설계로 추출한다.

실험 결과

연구 질문

• RQ1 커널 기반 함수에 기반해, 베이지안 적분, 에너지 최소화, 공간 충만 설계는 어떻게 연결되는가?
• RQ2 베이지안 적분에서 사후 분산 최소화가 공간 충만 설계에서 IMSPE 최소화의 실용적 대안이 될 수 있는가?
• RQ3 위치 모델에서 연관된 오차를 가진 연속적 BLUE의 구성과 커널 이질성 최소화 간의 관계는 무엇인가?
• RQ4 커널 허딩 알고리즘은 최적 설계의 정점-방향 방법과 어떻게 관련되어 있으며, 어떤 공간 충만 성질을 유도하는가?
• RQ5 가우시안 프로세스 모델의 카르누넨-로브 전개를 통해 베이지안 적분을 c-최적 설계 문제로 얼마나 잘 축소시킬 수 있는가?

주요 결과

• 적분적으로 Strickly 양의 정부호 커널은 엄격히 볼록인 에너지 함수를 정의하며, 잠재력과 방향 도함수 간의 등가성으로 인해 이질성과 최적 설계 간의 깊은 연결 고리를 드러낸다.
• 베이지안 적분에서의 사후 분산은 총 질량이 1인 부호가 있는 측도에 대한 제곱 커널 이질성의 최소값과 수학적으로 동일하다.
• 베이지안 적분에서 사후 분산 최소화는 축소된 커널에 대한 에너지 함수 최소화와 등가이며, 이는 IMSPE 최소화의 계산적으로 다룰 수 있는 대안을 제공한다.
• 정점-방향 방법의 특수한 경우인 커널 허딩 알고리즘은 강력한 공간 충만 성질을 가진 점 수열을 생성할 수 있으며, 언제든지 사용 가능한 설계로 활용될 수 있다.
• 최적 설계 조건 ξ*는 {M_B,m⁻¹(ξ)}₁,₁를 최소화하는 것으로, 볼록 최적화와 정점 교환 알고리즘을 통해 계산 가능하며, 정확한 설계 추출에 적합한 지지점들을 포함한다.
• 텐서 곱 커널의 경우, 고유함수와 고유값을 일변도 적분을 통해 근사할 수 있어 최적 설계 및 소볼로프 인덱스 추정의 효율적인 수치적 구성이 가능하다.