[논문 리뷰] Gaussian processes with linear operator inequality constraints

Christian Agrell|arXiv (Cornell University)|2019. 01. 10.

Gaussian Processes and Bayesian Inference참고 문헌 33인용 수 9

한 줄 요약

이 논문은 선형 연산자 부등식 제약 조건을 갖는 가우시안 프로세스 회귀를 위한 방법을 제안한다. 가상 관측을 통해 GP의 선형 변환(예: 도함수 또는 적분)에 대한 범위를 강제한다. 이 방법은 정확한 사후 추론과 안정적인 수치적 구현을 가능하게 하여 고위험 공학 응용 분야에서의 불확실성 정량화를 향상시킨다.

ABSTRACT

This paper presents an approach for constrained Gaussian Process (GP) regression where we assume that a set of linear transformations of the process are bounded. It is motivated by machine learning applications for high-consequence engineering systems, where this kind of information is often made available from phenomenological knowledge. We consider a GP $f$ over functions on $\mathcal{X} \subset \mathbb{R}^{n}$ taking values in $\mathbb{R}$, where the process $\mathcal{L}f$ is still Gaussian when $\mathcal{L}$ is a linear operator. Our goal is to model $f$ under the constraint that realizations of $\mathcal{L}f$ are confined to a convex set of functions. In particular, we require that $a \leq \mathcal{L}f \leq b$, given two functions $a$ and $b$ where $a < b$ pointwise. This formulation provides a consistent way of encoding multiple linear constraints, such as shape-constraints based on e.g. boundedness, monotonicity or convexity. We adopt the approach of using a sufficiently dense set of virtual observation locations where the constraint is required to hold, and derive the exact posterior for a conjugate likelihood. The results needed for stable numerical implementation are derived, together with an efficient sampling scheme for estimating the posterior process.

연구 동기 및 목표

• 선형 연산자 제약 조건을 사용하여 현상학적 지식(예: 유계성, 단조성, 볼록성 등)을 가우시안 프로세스 회귀에 체계적으로 통합하는 프레임워크를 개발하는 것.
• GP의 변환된 출력물(예: 도함수 또는 적분)이 입력 영역 전반에 걸쳐 지정된 범위 내에 유지되도록 보장하는 것.
• 가상 관측 위치를 사용하여 부등식 제약 조건 하에서 사후 추론을 위한 수치적으로 안정적이고 효율적인 방법을 제공하는 것.
• 자료가 부족한 영역에서 현실적인 불확실성 추정이 필요한 컴퓨터 실험 및 고위험 시스템에서의 불확실성 정량화를 가능하게 하는 것.
• 관측된 데이터를 바탕으로 제약 조건이 성립할 가능성을 정량화하여 모델의 해석 가능성과 낙법 가능성(모델 반증)을 지원하는 것.

제안 방법

• 선형 연산자 $\mathcal{L}$에 대해 $a(\mathbf{x}) \leq \mathcal{L}f(\mathbf{x}) \leq b(\mathbf{x})$ 를 만족하는 조건 하에서 GP $f$ 를 모델링하며, $\mathcal{L}f$ 는 여전히 가우시안 분포를 가진다.
• 유한한 수의 가상 관측 위치 $\{\mathbf{x}_v\}$ 를 사용하여 이 부등식 제약 조건을 이산적인 점들에서 강제함으로써 전역적 만족을 근사한다.
• 조건부 가우시안 성질을 활용하여 공액 우도와 가상 관측을 사용해 제약 조건이 있는 GP의 정확한 사후 분포를 유도한다.
• 사후 계산을 가능하게 하기 위해 $\mathcal{L}\mu^v$, $K_{X,X^v}\mathcal{L}^T$, $K_{X^*,X^v}\mathcal{L}^T$, 및 $\mathcal{L}K_{X^v,X^v}\mathcal{L}^T$ 와 같은 핵심 행렬을 계산한다.
• 후행 과정을 추정하고 후보 위치에서 제약 조건 위반 확률을 계산하기 위해 샘플링 기법을 사용한다.
• 추정된 제약 조건 위반 확률에 기반하여 반복적으로 가상 관측 위치를 선택함으로써 전역적 제약 조건 만족 확률을 높인다.

실험 결과

연구 질문

• RQ1 도함수나 적분에 대한 범위와 같은 선형 연산자 제약 조건을 가우시안 프로세스 모델에 일관적으로 어떻게 표현할 수 있는가?
• RQ2 선형 변환에 대한 부등식 제약 조건 하에서 GP의 사후 분포를 효율적이고 수치적으로 안정적으로 계산하는 방법은 무엇인가?
• RQ3 가상 관측 위치를 어떻게 적응적으로 선택하여 전역적 제약 조건 만족 확률을 높일 수 있는가?
• RQ4 이러한 제약 조건을 통합할 경우 입력 영역의 자료가 부족한 영역에서의 불확실성 정량화는 어느 정도 향상되는가?
• RQ5 관측 데이터를 바탕으로 제약 조건 위반의 가능성을 정량화함으로써 이 방법이 해석 가능성과 모델 낙법 가능성(모델 반증)을 지원할 수 있는가?

주요 결과

• 유한한 위치 집합에서의 가상 관측을 사용함으로써 선형 연산자 부등식 제약 조건 하에서 GP 회귀의 정확한 사후 추론을 제공한다.
• 가상 위치에서 변환된 과정 $\mathcal{L}f$ 가 지정된 범위 $[a(\mathbf{x}), b(\mathbf{x})]$ 내에 있도록 보장하며, 전역적 만족 확률이 높다.
• 가상 관측 위치를 선택하는 알고리즘은 반복적이고 추정된 제약 조건 위반 확률 최소화에 기반하여 입력 영역에 대한 커버리지가 향상된다.
• 사후 평균과 공분산은 조건부 가우시안 분포를 사용하여 명시적으로 유도되었으며, $\mathcal{L}\mu^v$, $K_{X,X^v}\mathcal{L}^T$, 및 $\mathcal{L}K_{X^v,X^v}\mathcal{L}^T$ 와 같은 행렬로 표현된다.
• 복합 선형 연산자 $\mathcal{L}$ 를 사용한 통합적 공식화를 통해 다중 유형의 제약 조건(예: 유계성, 단조성, 볼록성)을 지원할 수 있다.
• 필요한 공분산 및 평균 항을 철저히 유도함으로써 수치적 안정성이 확보되어 고차원 설정에서도 실용적인 구현이 가능해졌다.