[논문 리뷰] Large-scale Heteroscedastic Regression via Gaussian Process

Haitao Liu, Yew-Soon Ong외 1명|arXiv (Cornell University)|2018. 11. 03.

Gaussian Processes and Bayesian Inference참고 문헌 75인용 수 7

한 줄 요약

이 논문은 대규모 이방성 가우시안 프로세스 회귀를 위한 확장 가능한 추론 방법을 제안하며, VSHGP, SVSHGP, DVSHGP라는 변형을 도입하여 효율적인 희소, 스트로스틱, 분산 변분 추론을 가능하게 한다. 이 방법들은 입력에 따라 변하는 노이즈의 비모수적 모델링을 통해 불확실성 정량화를 유지하면서도 대규모 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Heteroscedastic regression considering the varying noises among observations has many applications in the fields like machine learning and statistics. Here we focus on the heteroscedastic Gaussian process (HGP) regression which integrates the latent function and the noise function together in a unified non-parametric Bayesian framework. Though showing remarkable performance, HGP suffers from the cubic time complexity, which strictly limits its application to big data. To improve the scalability, we first develop a variational sparse inference algorithm, named VSHGP, to handle large-scale datasets. Furthermore, two variants are developed to improve the scalability and capability of VSHGP. The first is stochastic VSHGP (SVSHGP) which derives a factorized evidence lower bound, thus enhancing efficient stochastic variational inference. The second is distributed VSHGP (DVSHGP) which (i) follows the Bayesian committee machine formalism to distribute computations over multiple local VSHGP experts with many inducing points; and (ii) adopts hybrid parameters for experts to guard against over-fitting and capture local variety. The superiority of DVSHGP and SVSHGP as compared to existing scalable heteroscedastic/homoscedastic GPs is then extensively verified on various datasets.

연구 동기 및 목표

• 대규모 데이터 환경에서의 사용을 제한하는 이방성 가우시안 프로세스(HGP) 회귀의 삼차 시간 복잡도 문제를 해결한다.
• 입력에 따라 변하는 노이즈의 불확실성 모델링을 유지하면서 계산 비용을 줄이기 위해 변분 희소 추론 프레임워크(VSHGP)를 개발한다.
• 작은 배치 최적화를 위한 인자화된 증거 하한(lower bound)를 사용하는 스트로스틱 변분 추론(SVSHGP)을 통해 확장성을 향상시킨다.
• 다중 로컬 전문가와 혼합 파라미터를 사용하여 분산 계산을 가능하게 하는 DVSHGP를 통해 일반화 능력을 향상시키고 국소 데이터 변동을 포착한다.
• 다양한 실제 데이터셋에서 기존의 동질성 및 이방성 GP 방법들에 비해 뛰어난 성능과 확장성을 입증한다.

제안 방법

• 잠재 함수 $ f $ 와 노이즈 함수 $ g $ 에 모두 유도점(inducing points)을 사용하는 변분 희소 추론 알고리즘인 VSHGP를 제안하여 $ O(n^3) $ 복잡도를 $ O(m^3 + u^3) $ 으로 감소시킨다. 여기서 $ m $ 과 $ u $ 은 각각 유도점의 크기이다.
• 작은 배치 데이터에 대한 효율적 스트로스틱 최적화를 가능하게 하기 위해 로그 모델 증거에 대한 분해된 하한(lower bound)를 유도함으로써 SVSHGP를 도입한다.
• 베이지안 위원회 기계(Bayesian committee machine) 형식에 기반하여, $ M $ 개의 로컬 VSHGP 전문가 각각이 $ m_0 $ 과 $ u_0 $ 개의 유도점을 갖는 DVSHGP를 설계한다.
• DVSHGP에서 혼합 파라미터를 사용하여 국소 및 전역 정보를 통합함으로써 과적합을 줄이고 국소 데이터 특성의 모델링을 향상시킨다.
• 피셔 정보를 활용하여 자연 경량 최적화(natural gradient optimization)를 적용하여 사후 분포 $ q(m{f}_m) $ 과 $ q(m{g}_u) $ 를 업데이트함으로써 수렴 속도를 높인다.
• 벡터화된 연산을 사용하여 커널 초모수 및 유도점 위치에 대한 닫힌 형태의 기울기를 유도함으로써 고차원 파라미터 공간에서도 계산 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 변분 희소 추론이 이방성 GP 회귀로 효과적으로 확장되어 대규모 데이터셋에서의 확장 가능한 추론을 달성할 수 있는가?
• RQ2 인자화된 하한을 사용하는 스트로스틱 변분 추론이 대규모 HGP에서 훈련 효율성과 수렴 속도를 향상시키는가?
• RQ3 다중 로컬 전문가를 통한 분산 학습이 HGP에 대해 중심 집중식 추론보다 확장성과 예측 성능 측면에서 뛰어나게 되는가?
• RQ4 분산 전문가에서 혼합 파라미터의 사용이 HGP 모델의 일반화 능력과 과적합에 대한 저항력을 향상시키는가?
• RQ5 제안된 방법들인 VSHGP, SVSHGP, DVSHGP가 이방성 및 동질성 회귀 과제에서 기존의 확장 가능한 GP 방법들보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• SVSHGP는 인자화된 증거 하한을 사용하는 작은 배치 스트로스틱 최적화 덕분에 표준 VSHGP에 비해 더 빠른 수렴과 더 낮은 훈련 시간을 달성한다.
• DVSHGP는 계산을 다수의 전문가에 분산함으로써 대규모 데이터셋에서 뛰어난 확장성과 예측 정확도를 보이며, 동시에 불확실성 정량화를 유지한다.
• DVSHGP에서 혼합 파라미터의 사용은 과적합을 줄이고 비정상성 또는 이질적인 데이터 환경에서 국소 데이터 변동을 더 잘 모델링함으로써 성능 향상을 이룬다.
• 실험 결과에 따르면 DVSHGP와 SVSHGP는 다양한 데이터셋에서 기존의 확장 가능한 GP 방법들보다 동질성 및 이방성 회귀 벤치마크에서 모두 뛰어난 성능을 보였다.
• 제안된 방법들은 계산 비용을 크게 줄이며 높은 예측 정확도를 유지함으로써, 수만 개의 포인트를 포함하는 데이터셋에 HGP를 적용할 수 있도록 한다.