[논문 리뷰] Probabilistic selection of inducing points in sparse Gaussian processes

Anders Kirk Uhrenholt, Valentin Charvet외 1명|arXiv (Cornell University)|2020. 10. 19.

Gaussian Processes and Bayesian Inference참고 문헌 41인용 수 7

한 줄 요약

이 논문은 점프로세스 사전과 확률적 변분 추론을 사용하여 희소 가우시안 프로세스에서 유도점의 수와 위치를 베이지안 방식으로 확률적으로 선택하는 방법을 제안한다. 이 방법은 수동 조정이나 교차검증 없이도 데이터 기반으로 정보가 풍부한 유도점을 자동으로 선택할 수 있게 하여 모델 복잡도를 줄이고, 딥 가우시안 프로세스 및 잠재변수 모델에서 성능을 유지하거나 향상시킨다.

ABSTRACT

Sparse Gaussian processes and various extensions thereof are enabled through inducing points, that simultaneously bottleneck the predictive capacity and act as the main contributor towards model complexity. However, the number of inducing points is generally not associated with uncertainty which prevents us from applying the apparatus of Bayesian reasoning for identifying an appropriate trade-off. In this work we place a point process prior on the inducing points and approximate the associated posterior through stochastic variational inference. By letting the prior encourage a moderate number of inducing points, we enable the model to learn which and how many points to utilise. We experimentally show that fewer inducing points are preferred by the model as the points become less informative, and further demonstrate how the method can be employed in deep Gaussian processes and latent variable modelling.

연구 동기 및 목표

• 희소 가우시안 프로세스에서 유도점의 수가 고정된 설계 선택이 되어 있는 문제를 해결하기 위해.
• 데이터의 정보성에 기반하여 유도점의 수와 위치를 원칙적이고 베이지안적인 방식으로 선택하기 위해.
• 딥 GPs와 GP-LVM와 같은 복잡한 모델에서 유도점 수를 선택하기 위해 수동 하이퍼파rameter 조정과 교차검증에 의존하는 것을 줄이기 위해.
• 유도점을 무작위 변수로 간주하고 데이터에서 유도된 포함 확률을 기반으로 확률적 프레임워크를 도입하기 위해.
• 정보가 적은 유도점일 경우 더 적은 수의 점을 사용하도록 모델이 학습할 수 있음을 보여주어 효율성을 높이되 예측 성능을 훼손하지 않도록 하기 위해.

제안 방법

• 희소성와 선택성을 장려하기 위해, 중간 정도의 점 수를 선호하는 유도점에 대한 점프로세스 사전을 도입하기 위해.
• 진짜 유도점 사후분포를 근사하기 위해 스 tochastic variational inference를 사용하여, 모델 파라미터와 사후분포를 동시에 최적화하기 위해.
• 다양화 가능한 목표함수를 위해 증거 하한값(ELBO)을 최대화하기 위해 스코어 함수 추정을 활용하여, 표준 GP 프레임워크에서의 구현 가능성을 확보하기 위해.
• 변분 사후분포의 충분통계량이 알려져 있을 때 Kullback-Leibler 발산을 분석적으로 계산할 수 있도록 하는 사전을 정의하기 위해.
• 다중 레이어에서 최적의 유도점 집합을 동시에 추론함으로써 조합적 탐색을 피할 수 있도록, 딥 가우시안 프로세스에 이 방법을 적용하기 위해.
• 학습 중에 유도점 수를 동적으로 학습함으로써 GP-LVM에 프레임워크를 확장하여, 교차검증을 통한 이 하이퍼파rameter 선택이 필요 없도록 하기 위해.

실험 결과

연구 질문

• RQ1 확률적 모델은 희소 가우시안 프로세스에서 최적의 유도점 수와 위치를 자동으로 선택할 수 있는가?
• RQ2 제안된 방법은 고정된 유도점 수 대비 모델 복잡도를 줄이고 예측 성능을 유지하거나 향상시키는가?
• RQ3 이 방법은 다층 레이어에서 유도점 수를 동시에 최적화할 수 있도록 딥 가우시안 프로세스에 효과적으로 적용될 수 있는가?
• RQ4 학습 중에 유도점 수를 조정함으로써 잠재변수 모델에서 교차검증이 필요 없어질 수 있는가?
• RQ5 후보 유도점의 정보성이 감소함에 따라 모델의 유도점 선택 전략은 어떻게 반응하는가?

주요 결과

• 유도점의 정보성이 감소함에 따라 모델은 일관되게 더 적은 수의 유도점을 선택함으로써 데이터 기반의 희소성과 적응성을 보여줌.
• 기준 데이터셋에서, 표준 방법보다 적은 수의 유도점으로도 유사하거나 더 높은 테스트 로그우도를 달성하여 효율성을 향상함.
• 딥 가우시안 프로세스에서, 모델은 초기 레이어에는 더 많은 점을 할당하고 후속 레이어에는 더 적은 점을 할당함으로써 각 레이어의 기능적 복잡도의 변화를 반영함.
• UCI Kin8nm 데이터셋에서, 적응 전략은 다양한 사전 설정에서 정확도와 예측 시간 사이의 근접 최적의 트레이드오프를 찾았으며, 격자 탐색 기반 베이스라인을 능가함.
• 단일세포 유전자 발현 데이터에서의 GP-LVM에서, 모델은 학습 중에 유도점 수를 동적으로 조정함으로써 교차검증을 통한 이 하이퍼파rameter 선택이 필요 없어짐.
• 합성, 실제 세계, 고차원 데이터셋에서의 검증을 통해, 예측 정확도를 유지하면서도 모델 복잡도를 효과적으로 줄임을 확인함.