[논문 리뷰] Sequential construction and dimension reduction of Gaussian processes under constraints

François Bachoc, Andrés F. López-Lopera외 1명|arXiv (Cornell University)|2020. 09. 09.

Gaussian Processes and Bayesian Inference참고 문헌 38인용 수 6

한 줄 요약

이 논문은 차원 감소와 적응형 커프트 지점 배치를 통한 제약 조건이 있는 가우시안 프로세스 구축을 위한 순차적 알고리즘인 MaxMod을 제안한다. 최대 a posteriori 모드 수정에 기반해 반복적으로 활성 변수 또는 일차원 커프트 지점을 추가함으로써 MaxMod는 수렴성을 보장하고, 예를 들어 단조성, 유계성 등의 제약 조건을 유지하면서도 더 높은 차원(최대 20차원)에 대해 이전 방법들보다 적은 커프트 지점으로 효율적으로 스케일링된다.

ABSTRACT

Accounting for inequality constraints, such as boundedness, monotonicity or convexity, is challenging when modeling costly-to-evaluate black box functions. In this regard, finite-dimensional Gaussian process (GP) regression models bring a valuable solution, as they guarantee that the inequality constraints are satisfied everywhere. Nevertheless, these models are currently restricted to small dimensional situations (up to dimension 5). Addressing this issue, we introduce the MaxMod algorithm that sequentially inserts one-dimensional knots or adds active variables, thereby performing at the same time dimension reduction and efficient knot allocation. We prove the convergence of this algorithm. In intermediary steps of the proof, we propose the notion of multi-affine extension and study its properties. We also prove the convergence of finite-dimensional GPs, when the knots are not dense in the input space, extending the recent literature. With simulated and real data, we demonstrate that the MaxMod algorithm remains efficient in higher dimension (at least in dimension 20), and needs fewer knots than other constrained GP models from the state-of-the-art, to reach a given approximation error.

연구 동기 및 목표

• 고차원 입력 공간에서 부등식 제약 조건이 있는 유한 차원 가우시안 프로세스 모델의 확장성 한계를 해결하기 위해.
• 단일 프레임워크 내에서 차원 감소와 효율적인 커프트 지점 할당을 수행하는 방법을 개발하기 위해.
• 부등식 제약 조건(예: 유계성, 단조성)이 관측된 점들에서만 아니라 전역적으로 만족됨을 보장하기 위해.
• 순차적 커프트 지점 및 변수 선택에 기반한 제약 조건이 있는 GP 모델의 수렴성을 입증하기 위해.
• 고차원 설정에서 커프트 지점 수와 근사 오차 측면에서 개선된 효율성을 보여주기 위해.

제안 방법

• MaxMod는 최대 a posteriori (MAP) 함수에 대한 $L^2$-노름 수정이 가장 큰 요소를 기반으로 새로운 활성 변수 또는 일차원 커프트 지점을 순차적으로 선택한다.
• 알고리즘은 커프트 지점 삽입과 변수 활성화가 MAP 함수의 $L^2$ 노름 변화에 미치는 영향을 균형 있게 고려하는 기준을 사용한다.
• MAP 함수가 커프트 지점 분할 영역에서 어떻게 행동하는지 분석하기 위해 제약 조건이 있는 GP 모델의 다중아핀 확장을 활용한다.
• 변수 집합 $\mathcal{J}_m$ 과 커프트 지점 집합 $S^{(m)}_i$ 의 중첩된 수열을 활용하여, 커프트 지점 밀도가 증가함에 따라 수렴을 보장한다.
• 수렴은 MAP 함수 수정의 $L^2$-노름이 0으로 수렴하고, 모든 변수 및 커프트 지점 집합이 $[0,1]$ 에서 조밀해짐을 보여줌으로써 증명된다.
• 이 방법은 조밀한 커프트 지점 집합을 초과하는 유한 차원 GP 수렴 이론을 일반화하며, 최근의 이론적 결과를 확장한다.

실험 결과

연구 질문

• RQ1 순차적 알고리즘이 제약 조건이 있는 가우시안 프로세스에서 차원 감소와 커프트 지점 할당을 효과적으로 동시에 수행하면서도 전역적인 부등식 제약 조건을 유지할 수 있는가?
• RQ2 MaxMod 알고리즘이 부등식 제약 조건 하에서 진정한 기저 함수의 일致한 근사로 수렴하는가?
• RQ3 고차원 설정에서 기존의 제약 조건이 있는 GP 모델과 비교해 MaxMod의 근사 오차와 필요로 하는 커프트 지점 수 측면에서 성능은 어떠한가?
• RQ4 알고리즘이 함수 변화가 큰 영역에 대해 적응적으로 커프트 지점을 할당하면서 영향력이 큰 변수를 식별하고 우선순위를 정할 수 있는가?
• RQ5 입력 공간에서 커프트 지점 집합이 조밀하지 않은 경우에도, 유한 차원 GP 근사의 수렴에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• MaxMod는 커프트 지점 집합이 처음에 조밀하지 않더라도, 부등식 제약 조건 하에서 MAP 함수가 진짜 함수로 수렴함을 보였다.
• 알고리즘은 모든 입력 변수가 결국 활성화되고, 해당 변수의 커프트 지점 집합이 $[0,1]$ 에서 조밀해짐을 보장함으로써 완전한 수렴을 보장한다.
• 시뮬레이션과 실제 데이터에서 MaxMod는 20차원에서 상태 기반 제약 조건이 있는 GP 모델보다 훨씬 적은 커프트 지점으로 높은 정확도를 유지한다.
• 함수 변화가 큰 영역에 커프트 지점을 동적으로 할당하고 영향력 있는 변수를 우선순위로 정함으로써 기존 방법들을 능가하는 성능을 보였다.
• 이론적 분석을 통해 커프트 지점 수가 증가함에 따라 MAP 함수가 균일하게 수렴하고, 각 단계에서 영향력이 큰 추가 요소를 선택함을 확인하였다.
• 다중아phin 확장을 도입함으로써 제약 조건이 있는 GP 모델과 그 수렴 행동을 연구하기 위한 새로운 분석 도구를 제공하였다.