[논문 리뷰] Patchwork Kriging for Large-scale Gaussian Process Regression

Chiwoo Park, Daniel W. Apley|arXiv (Cornell University)|2017. 01. 23.

Gaussian Processes and Bayesian Inference참고 문헌 17인용 수 23

한 줄 요약

이 논문은 입력 공간을 국소 영역으로 분할하고 각 영역에 독립적인 GP 모델을 적합시키며, 연속성 제약 조건을 의사 관측치로 통합하여 영역 경계에서의 부드러운 연속성을 보장하는 새로운 대규모 가우시안 프로세스 회귀 방법인 Patchwork Kriging을 소개한다. 이 방법은 계산적으로 효율적이며 확장 가능한 GP 회귀를 가능하게 하며, 기존 국소 GP 방법에 비해 경계 영역에서 예측 정확도가 크게 향상되고 타당한 불확실성 정량화를 유지한다.

ABSTRACT

This paper presents a new approach for Gaussian process (GP) regression for large datasets. The approach involves partitioning the regression input domain into multiple local regions with a different local GP model fitted in each region. Unlike existing local partitioned GP approaches, we introduce a technique for patching together the local GP models nearly seamlessly to ensure that the local GP models for two neighboring regions produce nearly the same response prediction and prediction error variance on the boundary between the two regions. This largely mitigates the well-known discontinuity problem that degrades the boundary accuracy of existing local partitioned GP methods. Our main innovation is to represent the continuity conditions as additional pseudo-observations that the differences between neighboring GP responses are identically zero at an appropriately chosen set of boundary input locations. To predict the response at any input location, we simply augment the actual response observations with the pseudo-observations and apply standard GP prediction methods to the augmented data. In contrast to heuristic continuity adjustments, this has an advantage of working within a formal GP framework, so that the GP-based predictive uncertainty quantification remains valid. Our approach also inherits a sparse block-like structure for the sample covariance matrix, which results in computationally efficient closed-form expressions for the predictive mean and variance. In addition, we provide a new spatial partitioning scheme based on a recursive space partitioning along local principal component directions, which makes the proposed approach applicable for regression domains having more than two dimensions. Using three spatial datasets and three higher dimensional datasets, we investigate the numerical performance of the approach and compare it to several state-of-the-art approaches.

연구 동기 및 목표

• 국소 가우시안 프로세스 회귀 방법에서 발생하는 경계 근처의 예측 정확도 저하 문제를 해결하기 위해.
• 예측 불확실성 정량화가 타당한 계산적으로 효율적인 대규모 GP 회귀 프레임워크를 개발하기 위해.
• 새로운 공간 분할 및 연속성 강제 전략을 통해 고차원 및 대규모 데이터셋에 대한 GP 회귀 적용을 가능하게 하기 위해.
• GP 예측의 통계적 성질을 유지하는 공식 베이지안 프레임워크를 제공하기 위해.

제안 방법

• 국소 주성분 방향을 기반으로 한 재귀적 공간 분할 방법을 사용하여 입력 도메인을 국소 영역으로 분할함으로써 고차원에 대한 확장성을 확보한다.
• 각 영역에서 독립적으로 국소 GP 모델을 적합시켜 계산 효율성을 위해 블록 대각 형식의 공분산 구조를 얻는다.
• 선택된 경계점에서 예측 응답과 분산의 차이가 0이 되도록 제약하는 의사 관측치를 도입하여 인접한 영역 간의 연속성을 강제한다.
• 의사 관측치를 표준 GP 예측 프레임워크에 통합하여 증가된 데이터를 사용한 예측 평균과 분산의 폐쇄형 계산을 가능하게 한다.
• 공분산 행렬에 희소 블록 구조를 유지함으로써 효율적인 콜레프스키 분해가 가능하며, 근사에 따라 O(N) 또는 O(NM²) 계산이 가능하다.
• 메서드는 전체 베이지안 일관성을 유지하여 예측 불확실성이 타당하고 잘 校정된 상태를 유지한다.

실험 결과

연구 질문

• RQ1 국소 GP 접근법이 계산 효율성을 잃지 않고도 영역 경계에서 부드러운 예측을 달성할 수 있는가?
• RQ2 공식 GP 프레임워크 내에서 통계적으로 타당한 방법으로 국소 GP 모델 간의 연속성을 어떻게 강제할 수 있는가?
• RQ3 제안된 방법이 기존 대규모 GP 방법에 비해 예측 정확도 및 불확실성 정량화 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 이 방법은 고차원 입력 공간으로 효과적으로 확장될 수 있는가?
• RQ5 다양한 분할 전략 및 의사 관측치 전략에 따라 계산 비용과 예측 성능 간의 상호 교환 관계는 어떠한가?

주요 결과

• 제안된 Patchwork Kriging 방법은 모든 테스트 데이터셋에서 PGP, RBCM, 및 PIC보다 낮은 평균 제곱 오차(MSE)를 기록하였으며, 특히 계산 시간이 짧을 경우에 두드러진 성능 향상을 보였다.
• TCO 오존 데이터셋에서 Patchwork Kriging은 MSE 및 부정적 로그 예측 밀도(NLPD) 측면에서 PGP 및 GMRF를 모두 압도하였으며, 특히 짧은 계산 시간에서 두각을 나타냈다.
• 테스트 세트 전반에서 일관된 NLPD 점수를 통해 타당한 예측 불확실성 정량화를 유지함을 입증하였다.
• 국소 주성분을 沿한 재귀적 공간 분할 전략이 고차원 입력 공간에서 효과적이고 확장 가능한 분할을 가능하게 하였다.
• 의사 관측치를 통한 연속성 강제 전략은 히وري스틱 스무딩 방법에 비해 경계 예측 불일치가 크게 감소한 결과를 보였다.
• 100초의 계산 시간에서 PGP보다 뛰어난 예측 성능을 기록하여 효율성-정확도 상호 교환 관계에서 뛰어난 성능을 입증하였다.