[논문 리뷰] BdryGP: a new Gaussian process model for incorporating boundary information

Liang Ding, Simon Mak외 1명|arXiv (Cornell University)|2019. 08. 23.

Advanced Multi-Objective Optimization Algorithms참고 문헌 32인용 수 7

한 줄 요약

이 논문은 새로운 경계 제약 마érn 공분산 함수를 통해 딜레르흐 경계 정보를 통합하는 BdryGP라는 새로운 가우시안 프로세스 모델을 제안한다. 이는 증명 가능한 더 빠른 수렴 속도와 차원의 극복에 대한 저항력을 향상시킨다. 유한요소 모델링과 GP 보간을 연결함으로써, BdryGP는 희박 격자 설계 하에서 $L^p$ 수렴 속도 $\mathcal{O}(n^{-1})$와 균일한 확률적 경계 $\mathcal{O}_{\mathbb{P}}(n^{-1} [\log n]^{2d - 3/2})$를 달성한다.

ABSTRACT

Gaussian processes (GPs) are widely used as surrogate models for emulating computer code, which simulate complex physical phenomena. In many problems, additional boundary information (i.e., the behavior of the phenomena along input boundaries) is known beforehand, either from governing physics or scientific knowledge. While there has been recent work on incorporating boundary information within GPs, such models do not provide theoretical insights on improved convergence rates. To this end, we propose a new GP model, called BdryGP, for incorporating boundary information. We show that BdryGP not only has improved convergence rates over existing GP models (which do not incorporate boundaries), but is also more resistant to the "curse-of-dimensionality" in nonparametric regression. Our proofs make use of a novel connection between GP interpolation and finite-element modeling.

연구 동기 및 목표

• 경계 정보가 GP 수렴 속도에 미치는 영향에 대한 이론적 이해 부족을 해결하기 위해.
• 기본 경계 조건(예: 딜레르흐)을 증명 가능하게 활용하여 예측 정확도와 수렴 속도를 향상시키는 GP 모델을 개발하기 위해.
• 가우시안 프로세스 보간과 유한요소 모델링 간의 이론적 연결을 수립하여 분석을 향상시키기 위해.
• 경계 정보를 통합함으로써 더 빠른 수렴 속도와 차원의 극복에 대한 더 큰 저항력을 확보할 수 있음을 입증하기 위해.
• 고차원 테스트 함수에 대한 수치 실험을 통해 이론적 성과를 검증하기 위해.

제안 방법

• 입력 도메인 경계에서 거의 확실하게 딜레르흐 경계 조건을 만족시키는 새로운 경계 제약 마érн(BdryMatérn) 공분산 함수를 제안한다.
• BdryGP 예측과 유한요소법(FEM) 보간 간의 새로운 이론적 연결을 수립하여, FEM 수렴 이론을 통한 분석을 가능하게 한다.
• 비모수 회귀에서 차원의 극복 문제를 완화하고 최적의 수렴 속도를 확보하기 위해 희박 격자 설계를 사용한다.
• BdryMatérn 커널의 천연 공간을 정의하고, 혼합 1차 도함수와 경계 제약 조건을 가진 스오볼레프 공간 $\mathcal{H}^{1,c}_{\text{mix}}(\mathcal{X})$와 연결한다.
• FEM-GP 등가성에 기반하여 BdryGP 예측자의 결정론적 $L^p$ 수렴 속도와 확률적 균일 경계를 유도한다.
• 다양한 경계 정보 수준에서 표준 GP 모델과 비교하기 위해 $d=10$차원 테스트 함수에 대한 수치 실험을 수행한다.

실험 결과

연구 질문

• RQ1 기본 경계 정보를 GP 모델에 통합하면 표준 GP 모델에 비해 증명 가능한 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 경계 제약 조건의 포함이 고차원 비모수 회귀에서 수렴 속도에 어떤 영향을 미치는가?
• RQ3 경계 제약 함수의 맥락에서 가우시안 프로세스 보간과 유한요소 모델링 간의 이론적 연결은 무엇인가?
• RQ4 경계 정보는 GP 회귀에서 차원의 극복에 얼마나 효과적으로 대처하는가?
• RQ5 실제로 전체 경계 정보와 부분 경계 정보를 사용할 경우 BdryGP의 성능은 어떻게 달라지는가?

주요 결과

• BdryGP는 $f \in \mathcal{H}^{1,c}_{\text{mix}}(\mathcal{X})$일 때 결정론적 $L^p$ 수렴 속도 $\mathcal{O}(n^{-1})$를 달성하며, 이는 유사한 부드러움 조건 하에서 표준 GP 모델의 $\mathcal{O}(n^{-1/2} [\log n]^{(5/2)(d-1)})$ 속도보다 훨씬 빠르다.
• BdryGP의 확률적 균일 경계는 $\mathcal{O}_{\mathbb{P}}(n^{-1} [\log n]^{2d - 3/2})$이며, 제약 조건이 없는 GP의 $\mathcal{O}_{\mathbb{P}}(n^{-1/2} [\log n]^{(5/2)d - 2})$ 속도를 초월한다.
• $d=10$ 테스트 함수 세 개에 대한 수치 실험 결과, 전체 경계 정보를 가진 BdryGP는 $L^1$ 오차를 표준 GP 모델보다 약 두 배 빠르게 감소시키며, 희박 격자 수준 $k$ 하에서 오차가 $\mathcal{O}(2^{-k})$로 감소함을 보였다.
• 전체 경계 정보와 부분 경계 정보를 가진 BdryGP 간의 오차 비율은 항상 1.0 이상을 유지하여 전체 경계 정보가 더 나은 성능을 낸다는 것을 확인했지만, 표본 크기가 증가함에 따라 격차는 점점 줄어든다.
• 이론적 분석 결과, 강제된 경계 제약 조건 덕분에 BdryGP는 고차원에서 수렴 효율성이 향상되어 차원의 극복에 더 저항성이 있음을 밝혔다.
• BdryGP와 FEM 보간 간의 등가성은 계산 최적화를 가능하게 하며, 전체 행렬 역행렬 계산 없이도 확장 가능한 예측 및 가능도 평가가 가능할 잠재력을 시사한다.