[논문 리뷰] Subspace-Induced Gaussian Processes

Zilong Tan, Sayan Mukherjee|arXiv (Cornell University)|2018. 02. 21.

Gaussian Processes and Bayesian Inference인용 수 2

한 줄 요약

이 논문은 재생 커널 힐버트 공간의 충분한 차원 감소 서브스페이스를 사용하여 공분산 커널을 파arameter화하는 저랭크 GP 회귀 모델인 Subspace-Induced Gaussian Processes (SIGP)를 제안한다. 이 서브스페이스를 활용함으로써 SIGP는 뚜렷한 계산 효율성 향상과 예측 분산 감소를 달성하며, 랭크-$m \leq 3$ 조건에서도 표준 전체 GP보다 뛰어난 성능을 보인다.

ABSTRACT

We present a new Gaussian process (GP) regression model where the covariance kernel is indexed or parameterized by a sufficient dimension reduction subspace of a reproducing kernel Hilbert space. The covariance kernel will be low-rank while capturing the statistical dependency of the response to the covariates, this affords significant improvement in computational efficiency as well as potential reduction in the variance of predictions. We develop a fast Expectation-Maximization algorithm for estimating the parameters of the subspace-induced Gaussian process (SIGP). Extensive results on real data show that SIGP can outperform the standard full GP even with a low rank-$m$, $m\leq 3$, inducing subspace.

연구 동기 및 목표

• 고차원 환경에서 표준 가우시안 프로세스 회귀의 계산 비효율성을 해결하기 위해.
• 예측 정확도를 희생시키지 않은 채 GP 모델의 예측 분산을 감소시키기 위해.
• 커널 공간에서의 차원 감소를 통해 통계적 능력을 유지하는 확장 가능한 GP 프레임워크를 개발하기 위해.
• 파arameter 추정을 위한 새로운 기대최대화 알고리즘을 통해 빠른 추론을 가능하게 하기 위해.
• 저랭크 서브스페이스 유도 커널이 전체 랭크 GP 모델과 동일하거나 이를 초월하는 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 재생 커널 힐버트 공간 내에서 충분한 차원 감소를 통해 유도된 저랭크 서브스페이스를 사용하여 GP 공분산 커널을 파arameter화한다.
• 입력 변수와 반응 변수 간의 본질적 의존성을 유지하면서 계산 비용을 줄이는 저랭크 커널 행렬을 구성한다.
• 유도된 서브스페이스를 사용하여 SIGP 모델 하에서 가능도를 제작함으로써 효율적인 주변 가능도 최적화를 가능하게 한다.
• 서브스페이스와 커널 하이퍼파ram터를 동시에 추정하기 위해 빠른 기대최대화 알고리즘을 개발한다.
• GP 회귀를 적용하기 전에 입력 공변량을 저차원 공간으로 투영하기 위해 서브스페이스를 활용한다.
• 커널의 구조를 활용하여 결과 공분산 행렬이 양의 정부호이자 계산적으로 다룰 수 있도록 보장한다.

실험 결과

연구 질문

• RQ1 충분한 차원 감소 서브스페이스에 의해 유도된 저랭크 커널이 전체 랭크 GP 모델과 비교해 예측 정확도를 유지할 수 있는가?
• RQ2 서브스페이스 유도 커널은 GP 회귀에서 계산 효율성과 예측 분산에 어떤 영향을 미치는가?
• RQ3 제안된 EM 기반 추정 절차는 기저 서브스페이스와 커널 파aram터를 신뢰성 있게 복원할 수 있는가?
• RQ4 서브스페이스 유도 커널이 표준 GP 모델을 능가하기 위해 필요한 최소 랭크($m$)는 얼마인가?
• RQ5 실제 고차원 입력 데이터셋에서 SIGP는 기준 GP 방법에 비해 어떻게 성능을 발휘하는가?

주요 결과

• SIGP는 조건이 $m \leq 3$일지라도 저랭크 커널 구조를 사용함으로써 뚜렷한 계산 속도 향상을 달성한다.
• 특히 고차원 설정에서 표준 전체 GP에 비해 예측 분산이 감소한다.
• 실제 데이터에 대한 광범위한 실험 결과, SIGP는 예측 성능 측면에서 표준 GP 모델을 능가한다.
• 제안된 EM 알고리즘은 안정적이고 효율적으로 고품질의 파aram터 추정치로 수렴한다.
• 최소한의 랭크($m=1,2,3$) 조건에서도 SIGP는 전체 GP 성능을 따라하거나 초월할 수 있는 충분한 통계적 의존성을 포착한다.
• 서브스페이스 유도 커널은 반응 변수를 예측하기 위해 가장 관련성이 높은 입력 공간 방향을 효과적으로 식별한다.