[논문 리뷰] Variational zero-inflated Gaussian processes with sparse kernels

Pashupati Hegde, Markus Heinonen외 1명|arXiv (Cornell University)|2018. 03. 13.

Gaussian Processes and Bayesian Inference참고 문헌 21인용 수 3

한 줄 요약

이 논문은 과도한 0 값 관측치를 포함하는 데이터셋을 모델링하기 위해 희소 커널을 갖는 변분 제로 인플레이티드 가우시안 프로세스(ZiGP)를 제안한다. 이 방법은 잠재적 프로빗 가우시안 프로세스를 통해 커널의 행과 열을 희소하게 0으로 만들며, 정확한 0 예측을 가능하게 한다. 이는 스케일러블 학습을 위해 확률적 변분 추론을 사용하며, 변수 순서 혼합을 통한 희소 가우시안 프로세스 네트워크(sGPRN)를 도입하여, 제로 인플레이티드 데이터에서의 예측 정확도 향상과 잠재적 구조의 해석 가능성 향상을 동시에 달성한다.

ABSTRACT

Zero-inflated datasets, which have an excess of zero outputs, are commonly encountered in problems such as climate or rare event modelling. Conventional machine learning approaches tend to overestimate the non-zeros leading to poor performance. We propose a novel model family of zero-inflated Gaussian processes (ZiGP) for such zero-inflated datasets, produced by sparse kernels through learning a latent probit Gaussian process that can zero out kernel rows and columns whenever the signal is absent. The ZiGPs are particularly useful for making the powerful Gaussian process networks more interpretable. We introduce sparse GP networks where variable-order latent modelling is achieved through sparse mixing signals. We derive the non-trivial stochastic variational inference tractably for scalable learning of the sparse kernels in both models. The novel output-sparse approach improves both prediction of zero-inflated data and interpretability of latent mixing models.

연구 동기 및 목표

• 기후, 생태학 및 사회과학 분야에서 흔한 과도한 0 값 관측치를 포함하는 데이터셋을 모델링하는 데 도전하는 것.
• 기존 가우시안 프로세스가 이러한 데이터에서 0 값을 과소평가하고 비제로 값을 과대평가하는 한계를 극복하는 것.
• 정확한 0 예측을 가능하게 하는 잠재적 GP와 프로빗 연결 스위칭 프로세스를 조합한 새로운 베이지안 프레임워크를 개발하는 것.
• 혼합 가중치에 있는 케이스-온 프로세스를 통해 잠재 신호의 희소하고 변수 순서 혼합을 도입하여 가우시안 프로세스 네트워크의 해석 가능성 향상.
• ZiGP 및 sGPRN 모델에서 복잡한 고차원 희소 공분산 구조를 다룰 수 있는 정확한 확률적 변분 추론을 통한 스케일러블 학습 지원.

제안 방법

• 잠재적 프로빗 가우시안 프로세스를 통해 행과 열을 0으로 설정함으로써 공분산 행렬을 희소화하는 제로 인플레이티드 GP 모델을 제안한다.
• 잠재 입력에 대한 매끄럽고 비모수적 프로빗 링크 함수를 사용하여 커널의 희소성 모델링을 수행하며, '켜짐'과 '꺼짐' 상태 간의 연속적 스위칭을 가능하게 한다.
• 프로빗 연결 희소성 하에서 GP 공분산의 비가역 기대값을 다루기 위한 새로운 확률적 변분 추론(SVI) 프레임워크를 유도하여 스케일러블 학습을 가능하게 한다.
• 기존의 대각 행렬 기반 평균장 근사에서 벗어나, 완전한 공분산을 고려하는 SVI 프레임워크를 일반화된 가우시안 프로세스 네트워크(GPRN)에 적용한다.
• 혼합 가중치가 별도의 케이스-온 프로세스에 의해 지배되는 희소 GPRN을 도입함으로써, 입력 위치에 따라 관련 잠재 함수만 활성화되는 변수 순서 혼합을 실현한다.
• 공간 및 시간 그리드에 대한 유도점(inducing points)을 사용하여 추론를 구현하며, 지지 함수와 가중치 함수에 대해 공통된 위치를 사용하고, 길이 척도에 감마 사전분포를 적용하여 매끄러움을 장려한다.

실험 결과

연구 질문

• RQ1 어떻게 가우시안 프로세스를 과도한 0 값 관측치를 포함하는 데이터셋에 적응시켜 비제로 값에 대한 과대평가 없이 모델링할 수 있는가?
• RQ2 잠재적 프로빗 프로세스를 사용하여 GP 모델의 커널 공분산 행렬을 확률적으로 희소화함으로써 정확한 0 예측을 가능하게 할 수 있는가?
• RQ3 비선형적이고 비정규 분포를 띠는 커널의 희소성에 대해, 제로 인플레이티드 GP의 파라미터를 학습하기 위한 정확한 추론 방법은 무엇인가?
• RQ4 가우시안 프로세스 네트워크에서 희소 혼합을 통해 잠재 함수의 변수 순서 혼합을 가능하게 하여 모델의 해석 가능성 향상과 복잡도 감소를 달성할 수 있는가?
• RQ5 확률적 변분 추론을 프로빗 연결 희소성과 함께, 희소 GPRN의 전체 비대칭 공분산 구조를 다룰 수 있도록 확장할 수 있는가?

주요 결과

• 강수량 데이터셋에서 제로 인플레이티드 GP(ZiGP) 모델은 표준 GP 회귀 대비 더 많은 정확한 0 예측을 기록하며 유의미하게 높은 성능을 보였다.
• 비 오림 데이터셋에서 ZiGP는 가장 낮은 평균 제곱 오차(MSE)와 가장 높은 F1 스코어를 기록하여, 둘 다 표준 GP 모델보다 회귀 정확도와 클래스 불균형 처리 능력에서 뛰어난 성능을 보였다.
• 5개의 유도점으로 구성된 sGPRN 모델은 기준선 GPRN 대비 더 낮은 RMSE(0.728)와 MAE(0.567)를 기록하여, 더 나은 회귀 성능을 입증했다.
• sGPRN 모델은 해석 가능한 희소성 패턴을 학습한다: 혼합 가중치에서 매끄러운 '꺼짐' 영역은 특정 공간 영역에서 두 잠재 함수 중 하나만 사용됨을 나타내며, 이는 모델 복잡도 감소를 의미한다.
• 10개의 유도점으로 구성된 모델 역시 일관된 개선을 보였으며, sGPRN은 GPRN 대비 더 낮은 RMSE(0.749)와 MAE(0.573)를 기록했다(GPRN: RMSE 0.774, MAE 0.586), 이는 확장성과 강건성을 확인한다.
• 최적화된 sGPRN 모델의 시각화 결과, 지지 함수(케이스-온 프로세스)와 가중치 함수가 공간적으로 매끄럽고 명확한 검은색(켜짐)과 흰색(꺼짐) 영역을 보이며, 특정 위치에 따라 잠재 함수가 적응적으로 활성화됨을 확인했다.