[논문 리뷰] Additive Gaussian Process Regression

Shaan Qamar, Surya T. Tokdar|arXiv (Cornell University)|2014. 11. 25.

Gaussian Processes and Bayesian Inference참고 문헌 33인용 수 8

한 줄 요약

이 논문은 높은 차원의 비모수적 회귀를 효율적으로 구현하기 위해 회귀 함수를 저차원 비모수적 함수의 가산 성분으로 분해하는 베이지안 가우시안 프로세스(AGP) 회귀 모델을 제안한다. 다중 시도 메트로폴리스 이동과 확률적 탐색을 갖춘 새로운 마르코프 체인 몬테카를로 샘플러를 사용함으로써, 시뮬레이션 및 실제 데이터에서 기존 방법들에 비해 예측 정확도를 크게 향상시키면서도 상태의 지원 및 상호작용 복원 성능을 달성한다.

ABSTRACT

Additive-interactive regression has recently been shown to offer attractive minimax error rates over traditional nonparametric multivariate regression in a wide variety of settings, including cases where the predictor count is much larger than the sample size and many of the predictors have important effects on the response, potentially through complex interactions. We present a Bayesian implementation of additive-interactive regression using an additive Gaussian process (AGP) prior and develop an efficient Markov chain sampler that extends stochastic search variable selection in this setting. Careful prior and hyper-parameter specification are developed in light of performance and computational considerations, and key innovations address difficulties in exploring a joint posterior distribution over multiple subsets of high dimensional predictor inclusion vectors. The method offers state-of-the-art support and interaction recovery while improving dramatically over competitors in terms of prediction accuracy on a diverse set of simulated and real data. Results from real data studies provide strong evidence that the additive-interactive framework is an attractive modeling platform for high-dimensional nonparametric regression.

연구 동기 및 목표

• p ≫ n 인 높은 차원 설정에서 가산-상호작용 비모수적 회귀를 위한 완전한 베이지안 프레임워크를 개발하는 것.
• 기존 비모수적 회귀에서의 차원의 극복 문제를 해결하기 위해 회귀 함수를 저차원 성분 함수의 합으로 모델링하는 것.
• 구조적 사전 분포와 효율적인 사후 탐색을 통해 예측 변수 중요도 및 상호작용 구조의 정확한 복원을 가능하게 하는 것.
• 높은 차원, 희소성, 매끄러운 회귀 설정에서 기존 방법들에 비해 계산적 확장성과 통계적 성능을 향상시키는 것.

제안 방법

• 각 성분 함수가 소수의 예측 변수에 의존하는 가산 가우시안 프로세스(AGP) 사전 분포를 적용하여 복잡한 상호작용을 영리하게 비모수적으로 모델링하는 것.
• 예측 변수 포함 벡터와 성분 구조의 고차원 공간을 탐색하기 위해 세 가지 유형의 이동 방식인 크로스-기부(CD), 페어-기부(PD), 페어-스왑(PS)을 포함한 새로운 마르코프 체인 몬테카를로(MCMC) 샘플러를 사용하는 것.
• 합동 사후 분포에서 혼합 및 수렴을 향상시키기 위해 다중 시도 메트로폴리스 제안을 통합하는 것.
• 성분별 이동을 통해 예측 변수를 가산 성분 간에 동적으로 재할당함으로써 모델 공간을 효율적으로 탐색하는 확률적 탐색 변수 선택을 구현하는 것.
• 모델의 유연성, 계산 비용, 추정 정확도를 균형 있게 유지하기 위해 신중한 사전 분포 및 하이퍼파rameter 설정을 적용하는 것.
• 대칭 전이 핵을 갖는 ICM 제안의 혼합을 적용하여 MCMC 체인의 세밀한 평형과 정상성을 보장하는 것.

실험 결과

연구 질문

• RQ1 베이지안 가산 가우시안 프로세스 모델이 복잡한 상호작용을 포함한 고차원 비모수적 회귀에서 예측 정확도 및 변수 선택 성능을 뛰어나게 달성할 수 있는가?
• RQ2 제안된 MCMC 샘플러가 예측 변수 포함 벡터와 성분 구조의 고차원 공간을 얼마나 효과적으로 탐색할 수 있는가?
• RQ3 가산-상호작용 프레임워크가 전통적인 비모수적 및 모수적 방법에 비해 지원 복원 및 상호작용 탐지 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 최소 최대 이론이 예측한 바와 같이 극도로 희소성과 높은 p/n 비율 조건에서도 이 방법이 양호한 성능을 유지하는가?

주요 결과

• AGP 모델은 기존 방법들에 비해 상태의 지원 및 상호작용 복원 성능에서 최고 수준을 달성하며, 관련 예측 변수와 그 상호작용을 식별하는 데 뛰어난 성능을 보였다.
• 특히 고차원 및 매끄러운 회귀 설정에서 BART, 랜덤 포레스트, 라소와 같은 기존 방법들에 비해 예측 정확도가 크게 향상되었다.
• 시뮬레이션 데이터에서 진짜 상호작용 패턴을 성공적으로 복원하였으며, 포함 확률이 진짜 예측 변수 중요도를 정확히 따라가고 있었다.
• 보스턴 주택, 범죄, 라이보플라빈, 쿠키 데이터 세트에 대한 실제 데이터 연구는 다양한 적용 분야에서 강력한 경험적 성능과 강인성을 보여주었다.
• MCMC 샘플러는 양호한 혼합 및 수렴 성능를 보였으며, σ²의 추적 플롯은 안정적인 사후 탐색과 신뢰할 수 있는 추론을 보여주었다.
• 이론적 및 경험적 결과는 가산-상호작용 프레임워크가 기존 비모수적 모델의 극도로 희소한 가정을 깨뜨리며 고차원 설정에서 효과적인 학습을 가능하게 한다는 것을 확인했다.