[논문 리뷰] Finite-dimensional Gaussian approximation with linear inequality constraints

Andrés F. López-Lopera, François Bachoc외 2명|arXiv (Cornell University)|2017. 10. 20.

Gaussian Processes and Bayesian Inference참고 문헌 41인용 수 76

한 줄 요약

이 논문은 유한차원 가우시안 프로세스 모델을 일반적인 선형 부등식 제약 조건(예: 유계성, 단조성, 볼록성)을 다룰 수 있도록 확장한다. 이를 위해 함수 공간 상의 부등식 제약 조건을 유한차원 계수 공간 내의 볼록집합으로 재구성한다. 효율적인 사후분포 근사화를 위해 하미르토니안 몽테카를로(HMC)를 도입하고, 공분산 매개변수 추정을 위한 제약 조건이 붙은 우도의 이론적 및 실증적 검증을 제공한다. 인위적 데이터와 실제 응용 데이터에서 더 나은 데이터 피팅과 불확실성 측정을 입증한다.

ABSTRACT

Introducing inequality constraints in Gaussian process (GP) models can lead to more realistic uncertainties in learning a great variety of real-world problems. We consider the finite-dimensional Gaussian approach from Maatouk and Bay (2017) which can satisfy inequality conditions everywhere (either boundedness, monotonicity or convexity). Our contributions are threefold. First, we extend their approach in order to deal with general sets of linear inequalities. Second, we explore several Markov Chain Monte Carlo (MCMC) techniques to approximate the posterior distribution. Third, we investigate theoretical and numerical properties of the constrained likelihood for covariance parameter estimation. According to experiments on both artificial and real data, our full framework together with a Hamiltonian Monte Carlo-based sampler provides efficient results on both data fitting and uncertainty quantification.

연구 동기 및 목표

• 유한차원 GP 프레임워크를 유계성, 단조성, 볼록성 외에도 일반적인 선형 부등식 제약 조건의 집합까지 확장하는 것.
• 이러한 제약 조건 하에서 사후분포 근사화를 위한 효율적인 마르코프 체인 몽테카를로(MCMC) 방법을 개발하고 평가하는 것.
• 공분산 매개변수 추정을 위한 제약 조건이 붙은 우도의 이론적 및 수치적 성질을 조사하는 것.
• 핵심 비용 및 경제학적 응용을 포함한 인위적 및 실제 데이터 세트에서 제약 조건이 있는 GP 모델에 비해 더 나은 데이터 피팅과 불확실성 측정을 보여주는 것.

제안 방법

• 모자란 기저 함수를 사용해 함수 공간 상의 부등식 제약 조건을 유한차원 계수 공간 내의 볼록집합으로 재구성한다.
• GP를 끈점들 위에서의 조각별 선형 보간으로 표현함으로써 무한차원 제약 조건을 계수에 대한 유한차원 선형 부등식으로 감소시킨다.
• 유한차원 근사를 통해 볼록집합 C ⊆ R^m을 이용해 입력 공간 전역에서 제약 조건을 강제한다.
• 제약 조건이 붙은 사후분포에서 샘플링하기 위해 하미르토니안 몽테카를로(HMC) 및 기타 MCMC 기법을 적용한다.
• 제약 조건이 붙은 상황에서 공분산 매개변수 추정을 위한 조건부 우도를 유도하여 체계적인 추론을 가능하게 한다.
• 핵심 비용 및 경제학적 응용을 포함한 인위적 데이터와 실제 응용을 통해 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 유한차원 GP 프레임워크는 유계성, 단조성, 볼록성 외에도 임의의 선형 부등식 제약 조건 집합을 다룰 수 있는가?
• RQ2 다양한 MCMC 알고리즘이 선형 부등식 제약 조건 하에서 사후분포 근사화에 어떻게 작용하는가? 특히 정확한 몽테카를로 방법과 비교하여 어떻게 성능을 보이는가?
• RQ3 공분산 매개변수 추정을 위한 제약 조건이 붙은 우도 함수의 이론적 및 수치적 성질은 무엇인가?
• RQ4 제안된 프레임워크는 알려진 선형 부등식 제약 조건이 있는 실제 데이터 세트에서 비제약 조건이 붙은 GP 모델에 비해 더 나은 데이터 피팅과 불확실성 측정을 제공하는가?

주요 결과

• 제안된 프레임워크는 유한차원 GP 접근법을 일반적인 선형 부등식 제약 조건으로 성공적으로 확장하여 입력 공간 전역에서 제약 조건을 정확히 구현할 수 있다.
• 하미르토니안 몽테카를로(HMC)는 계산 비용과 확장성 측면에서 거부 샘플링을 능가하는 효율적이고 정확한 사후분포 근사화 방법을 제공한다.
• 제약 조건이 붙은 우도 함수는 미약한 정규성 조건 하에서 잘 정의되고 양수이며, 공분산 매개변수 추정을 위한 타당한 추론을 보장한다.
• 이론적 결과는 끈점 수가 증가함에 따라 제약 조건이 붙은 사후분포가 진짜 제약 조건이 붙은 분포로 수렴함을 보여준다.
• 인위적 데이터 및 실제 데이터(예: 핵 임계성, 경제학 모델)에 대한 실증 결과는 비제약 조건이 붙은 GP 모델에 비해 더 나은 데이터 피팅과 더 현실적인 불확실성 측정을 보여준다.
• 수치 실험을 통해 끈점 수와 제약 조건의 복잡성이 증가함에 따라 프레임워크가 계산적으로도 타당성을 유지함을 검증하였다.