[논문 리뷰] Finite-dimensional approximation of Gaussian processes with inequality constraints

Hassan Maatouk|arXiv (Cornell University)|2017. 06. 06.

Gaussian Processes and Bayesian Inference참고 문헌 34인용 수 4

한 줄 요약

이 논문은 유한 차원 근사법을 제안하며, 가우시안 프로세스에 대해 무한한 부등식 제약 조건(예: 단조성, 볼록성, 유계성)을 강제하기 위해, 결정론적 기저 함수와 종속된 가우시안 계수의 선형 조합으로 프로세스를 표현한다. 이 방법은 무한 제약 조건을 계수에 대한 유한한 볼록 제약 조건으로 변환하여, 잘린 가우시안 시뮬레이션을 통해 정확하게 구현할 수 있게 하며, 기존 방법들에 비해 예측 정확도와 불확실성 정량화에서 뛰어난 성능을 보인다.

ABSTRACT

Due to their flexibility, Gaussian processes (GPs) have been widely used in nonparametric function estimation. A prior information about the underlying function is often available. For instance, the physical system (computer model output) may be known to satisfy inequality constraints with respect to some or all inputs. We develop a finite-dimensional approximation of GPs capable of incorporating inequality constraints and noisy observations for computer model emulators. It is based on a linear combination between Gaussian random coefficients and deterministic basis functions. By this methodology , the inequality constraints are respected in the entire domain. The mean and the maximum of the posterior distribution are well defined. A simulation study to show the efficiency and the performance of the proposed model in term of predictive accuracy and uncertainty quantification is included.

연구 동기 및 목표

• 컴퓨터 실험을 위한 가우시안 프로세스 모델에 무한한 부등식 제약 조건(예: 단조성, 볼록성)을 효율적으로 통합하기 위한 계산적으로 효율적인 방법을 개발하는 것.
• 결과로 얻어진 GP 근사가 이산적인 점들 뿐 아니라 전체 입력 영역에서 제약 조건을 충족시킬 수 있도록 보장하는 것.
• 잘린 가우시안 분포를 활용하여 사후 평균과 최대값이 잘 정의되도록 유지하는 것.
• 노이즈가 있는 관측치와 형태 제약 조건이 존재하는 상황에서 예측 정확도와 불확실성 정량화를 향상시키는 것.
• 기존의 도함수 제약 조건 또는 투영 기반 접근 방식에 의존하는 제약 조건이 있는 GP 방법들에 대한 확장 가능한 대안을 제공하는 것.

제안 방법

• GP는 결정론적 기저 함수와 가우시안 분포를 갖는 계수의 선형 조합으로 근사되며, 이는 경로 수렴을 보장한다.
• 기저 함수는 프로세스에 대한 무한한 부등식 제약 조건이 계수 벡터에 대한 유한한 볼록 제약 조건으로 대응되도록 특별히 선택된다.
• 조건부 사후 분포는 볼록 집합에 제한된 잘린 가우시안 벡터로 정의되며, 기존 알고리즘을 활용해 정확한 시뮬레이션을 가능하게 한다.
• 측정 오차를 가능성을 고려하여 가능도에 포함시킴으로써 노이즈가 있는 관측치를 처리하며, 공액성과 계산 가능성 유지.
• 하이퍼파rameter는 교차 검증을 통해 추정되며, 제약 조건 집합의 볼록성 덕분에 사후 평균과 최대값이 잘 정의된다.
• 이 방법은 다차원으로 일반화 가능하며, 유계성, 단조성, 볼록성 등 다양한 제약 조건을 지원한다.

실험 결과

연구 질문

• RQ1 유한 차원 GP 근사가 전체 입력 영역에서 무한한 부등식 제약 조건(예: 단조성)을 충족시킬 수 있는가?
• RQ2 제안된 방법은 예측 정확도와 불확실성 정량화 측면에서 기존의 제약 조건이 있는 GP 접근 방식과 비교해 어떻게 성능을 내는가?
• RQ3 제약 조건이 있는 GP의 사후 평균과 최대값은 잘 정의되고 계산 가능할 수 있는가?
• RQ4 제약 조건이 있는 상황에서 관측치가 제한적이고 노이즈가 많은 경우에도 높은 예측 성능을 유지할 수 있는가?
• RQ5 핵심 안전성 시뮬레이션과 같은 복잡한 물리적 제약 조건이 존재하는 실제 응용 분야에서 이 방법은 얼마나 효과적인가?

주요 결과

• 유한 차원 GP 근사에 부등식 제약 조건을 적용한 결과, 6개의 테스트 함수 중 4개에서 가우시안 프로세스 투영보다 평균 제곱오차(MSE)에서 뛰어난 성능을 보였으며, 일부 사례에서는 MSE가 10배 감소했다(예: f1의 경우 2.86e-3 vs. 0.04).
• 실제 핵심 안전성 데이터에서 제약 조건이 있는 모델은 Q² 점수 0.98을 기록하여 제약 조건이 없는 GP(Q² = 0.69)에 비해 뚜렷이 뛰어난 성능을 보였다.
• 다섯 개의 관측치만으로도 제약 조건이 있는 모델은 전체 영역에서 단조성을 정확히 유지하는 반면, 제약 조건이 없는 GP는 이를 실패했다.
• 계수 제약 조건 집합의 볼록성 덕분에 사후 평균과 최대값이 잘 정의됨이 보장된다.
• 1차원 및 2차원 시뮬레이션을 통해 노이즈가 있는 관측치와 복잡한 제약 조건 하에서도 높은 예측 정확도를 유지함을 입증하였다.
• 기저 함수의 구성 방식이 무한한 부등식 제약 조건을 계수에 대한 유한 차원 볼록 제약 조건으로 성공적으로 변환하여, 잘린 가우시안 샘플링을 통한 효율적 시뮬레이션을 가능하게 하였다.