[논문 리뷰] Scalable Gaussian-process regression and variable selection using Vecchia approximations

Jian Cao, Joseph Guinness외 2명|arXiv (Cornell University)|2022. 02. 25.

Gaussian Processes and Bayesian Inference인용 수 6

한 줄 요약

이 논문은 변수 선택을 위한 벡키아 근사법을 사용하는 가우시안 프로세스 회귀를 위한 확장 가능한 알고리즘인 VGPR를 제안한다. 스케일드 벡키아 근사법과 미니배치 서브샘플링, 그리고 새로운 이차제약 조건을 갖춘 좌표 하강 방법을 조합함으로써, VGPR는 수백만 개의 반응 변수와 수천 개의 공변량을 효과적으로 처리하며, 대규모 설정에서 높은 정확도와 계산 효율성을 달성한다.

ABSTRACT

Gaussian process (GP) regression is a flexible, nonparametric approach to regression that naturally quantifies uncertainty. In many applications, the number of responses and covariates are both large, and a goal is to select covariates that are related to the response. For this setting, we propose a novel, scalable algorithm, coined VGPR, which optimizes a penalized GP log-likelihood based on the Vecchia GP approximation, an ordered conditional approximation from spatial statistics that implies a sparse Cholesky factor of the precision matrix. We traverse the regularization path from strong to weak penalization, sequentially adding candidate covariates based on the gradient of the log-likelihood and deselecting irrelevant covariates via a new quadratic constrained coordinate descent algorithm. We propose Vecchia-based mini-batch subsampling, which provides unbiased gradient estimators. The resulting procedure is scalable to millions of responses and thousands of covariates. Theoretical analysis and numerical studies demonstrate the improved scalability and accuracy relative to existing methods.

연구 동기 및 목표

• 반응 변수의 수(n)와 공변량의 수(d)가 모두 큰 고차원 설정에서 확장 가능한 가우시안 프로세스 회귀와 동시에 변수 선택을 수행하는 데 도전하는 문제를 해결하기 위해.
• 정확도를 유지하면서 계산 비용을 O(n³)에서 확장 가능한 수준으로 줄이기 위해 근사 기법을 활용하는 방법을 개발하기 위해.
• 희소성과 관련성을 다룰 수 있는 새로운 좌표 하강 알고리즘과 기울기 기반 업데이트를 통해 정규화 경로를 순차적으로 탐색함으로써 효율적인 변수 선택을 가능하게 하기 위해.
• 벡키아 기반의 미니배치 서브샘플링을 통해 대규모 설정에서 편향 없는 기울기 추정을 보장함으로써 스트로스틱 최적화를 지원하기 위해.
• 기존의 정규화된 GP 방법이 고차원 입력 공간에서 어려움을 겪는 데 비해, 이론적으로 탄탄하고 계산적으로 효율적인 대안을 제공하기 위해.

제안 방법

• 스케일드 벡키아 근사법을 사용하여 정밀도 행렬의 희소 콜레프스키 분해를 구성함으로써, O(n) 복잡도로 효율적인 GP 추론을 가능하게 한다.
• 순서화된 조건부 근사법을 사용하여 연합 GP 우도를 단변량 조건부 확률의 곱으로 분해함으로써 계산 부담을 감소시킨다.
• 기울기 기반의 경로 추적 알고리즘을 통해 로그우도 기울기 기반으로 공변량을 순차적으로 추가함으로써 정규화 경로의 효율적 탐색을 가능하게 한다.
• 새로운 이차제약 조건을 갖춘 좌표 하강 알고리즘을 통해 부적절한 공변량을 선택적으로 제거함으로써 희소성과 모델의 해석 가능성을 향상시킨다.
• 벡키아 기반의 미니배치 서브샘플링을 도입하여 편향 없는 기울기 추정기를 제공함으로써 스트로스틱 최적화와 대규모 데이터셋에 대한 확장성을 지원한다.
• 적응형 브릿지 페널티 하에 정규화된 로그우도를 최적화함으로써 모델 적합도와 희소성의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 벡키아 근사법과 기울기 기반 변수 선택을 효과적으로 조합하여 GP 회귀를 큰 n과 d에 대해 확장할 수 있는가?
• RQ2 제안된 미니배치 서브샘플링 전략이 대규모 최적화에 적합한 편향 없는 기울기 추정기를 제공하는가?
• RQ3 대규모 데이터셋에서 정확도, 수렴성, 계산 효율성 측면에서 VGPR의 성능은 기존 방법과 비교해 어떻게 되는가?
• RQ4 이차제약 조건을 갖춘 좌표 하강 알고리즘이 모델 안정성을 유지하면서도 관련 공변량을 효과적으로 식별할 수 있는가?
• RQ5 스케일드 벡키아 근사법이 고차원 입력 공간에서 GP 회귀의 정확도에 어떤 영향을 미치는가?

주요 결과

• VGPR는 수백만 개의 반응 변수와 수천 개의 공변량을 처리할 수 있는 확장 가능한 추론을 달성하며, 기존 방법에 비해 계산 효율성에서 뚜렷한 승리를 거두었다.
• 벡키아 기반의 미니배치 서브샘플링을 사용함으로써 편향 없는 기울기 추정기가 제공되어 안정적이고 효율적인 스트로스틱 최적화가 가능해졌다.
• 제안된 이차제약 조건을 갖춘 좌표 하강 알고리즘은 부적절한 공변량을 효과적으로 제거하여 희소하고 해석 가능한 모델을 만들어냈다.
• 이론적 분석을 통해 벡키아 근사 하에서 기대 로그우도가 진짜 파rameter 값에서 최대화됨을 확인하였으며, 이는 일致성(consistency)을 뒷받침한다.
• 수치적 연구를 통해 VGPR는 정확도를 유지하면서도 정확한 GP 방법에 비해 계산 비용을 수개월 단위로 감소시켰다.
• 스케일드 벡키아 근사법은 특히 d > 10인 고차원 입력 공간에서 표준 벡키아 근사법보다 정확도를 향상시켰다.