[논문 리뷰] Blitzkriging: Kronecker-structured Stochastic Gaussian Processes

Thomas E. Nickson, Tom Gunter외 3명|arXiv (Cornell University)|2015. 10. 27.

Gaussian Processes and Bayesian Inference참고 문헌 23인용 수 13

한 줄 요약

Blitzkriging는 유도 점 수에 대해 선형 스케일링을 달성하는 크로네커 구조를 가진 확률적 가우시안 프로세스를 도입하여, 격자 구조가 아닌 대규모 데이터셋에서도 효율적인 추론을 가능하게 한다. 이는 스펙트럼 혼합 커널과 확률적 최적화를 활용하여 풍부한 공분산 구조를 학습하면서도, 표준 변분 추론과 랜덤 포레스트보다 예측 정확도와 계산 효율성에서 뛰어나다.

ABSTRACT

We present Blitzkriging, a new approach to fast inference for Gaussian processes, applicable to regression, optimisation and classification. State-of-the-art (stochastic) inference for Gaussian processes on very large datasets scales cubically in the number of 'inducing inputs', variables introduced to factorise the model. Blitzkriging shares state-of-the-art scaling with data, but reduces the scaling in the number of inducing points to approximately linear. Further, in contrast to other methods, Blitzkriging: does not force the data to conform to any particular structure (including grid-like); reduces reliance on error-prone optimisation of inducing point locations; and is able to learn rich (covariance) structure from the data. We demonstrate the benefits of our approach on real data in regression, time-series prediction and signal-interpolation experiments.

연구 동기 및 목표

• 유도 점 수에 대해 제곱형 스케일링을 보이는 표준 가우시안 프로세스 추론의 문제를 해결함으로써, 대규모 데이터셋에서의 확장성을 제한하는 요소를 제거한다.
• 데이터가 격자나 규칙적인 구조를 가져야 하는 조건 없이도 효율적이고 확장 가능한 가우시안 프로세스 추론을 가능하게 한다.
• 유도 점 위치의 민감한 최적화에 의존도를 줄이면서도, 복잡한 데이터 기반 공분산 구조를 학습할 수 있는 능력을 유지한다.
• 계산 효율성을 위해 크로네커 구조의 이점을 활용하면서도, 민감한 적응형 모델링을 가능하게 하는 스펙트럼 혼합 커널의 표현력 있는 능력을 결합한다.
• 최소한의 하이퍼파rameter 튜닝으로도 회귀, 시계열 예측, 신호 보간 작업에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 이 방법은 공분산 행렬의 크로네커 구조적 근사화를 사용하여, 입력 차원 간의 분리 가능한 커널 구조를 활용해 선형 시간 추론을 가능하게 한다.
• 훈련을 위해 확률적 경량 최적화를 사용하여, 전체 배치 계산 없이도 대규모 데이터셋에서 효율적인 최적화를 수행할 수 있다.
• 공분산 함수로 스펙트럼 혼합(SM) 커널을 사용하며, 복잡한 장거리 의존성을 모델링하기 위해 가우시안의 합으로 매개변수화된다.
• 유도 점은 정규 격자에 배치되지만 위치는 최적화되지 않으며, 대신 각 유도 점에 대해 평균 값을 학습함으로써 초기화에 대한 민감도를 감소시킨다.
• 이 방법은 우드베리 행렬 항등식을 활용하여 큰 공분산 행렬을 효율적으로 역행렬화함으로써, 유도 점에 대한 더 작은 구조적 문제로 역행렬을 축소한다.
• 완전한 격자에서의 정확한 추론과 거의 완전한 격자에서의 가군적 추론(가짜 관측값 사용)을 모두 지원하며, 높은 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 유도 점 수에 대해 선형 스케일링이 가능하면서도, 비격자 구조의 대규모 비정규 데이터셋에서 높은 예측 정확도를 유지할 수 있는 가우시안 프로세스 추론이 가능한가?
• RQ2 크로네커 구조적 방법이 데이터를 규칙적인 격자로 강제하지 않고도 풍부한 데이터 기반 공분산 구조를 얼마나 잘 학습할 수 있는가?
• RQ3 Blitzkriging은 표준 변분 추론(SVGP)과 랜덤 포레스트 같은 앙상블 방법에 비해 확장성과 예측 성능 측면에서 어떻게 비교되는가?
• RQ4 확률적 최적화가 GP 모델에서 유도 점 위치의 신중한 튜닝이 필요 없도록 대체할 수 있는가?
• RQ5 크로네커 구조 프레임워크 내에서 민감한 스펙트럼 혼합 커널을 사용할 경우 패턴 탐지 및 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• Blitzkriging은 풍속 자기선형 회귀 작업에서 테스트 RMSE 0.645를 기록하여, SVGP(0.389)와 랜덤 포레스트(0.248)보다도 높은 예측 로그우도를 기록하면서도 경쟁적인 RMSE를 유지했다.
• 2차원 주택 가격 예측에서 50×70 격자 유도 점을 사용한 Blitzkriging은 SVGP보다 더 높은 예측 로그우도를 기록했으며, 랜덤 포레스트와 유사한 RMSE를 기록했다. 이는 후자의 비정상성에 비해 뛰어난 정확도를 의미한다.
• Blitzkriging은 SVGP보다 하이퍼파rameter 초기화에 대해 훨씬 더 강건했으며, 특수한 튜닝 없이도 L-BFGS나 Adadelta와 같은 표준 최적화기로도 성능을 낼 수 있었다.
• Blitzkriging은 스펙트럼 혼합 커널을 통해 복잡한 축 기반 주기 패턴을 학습하여 실제 데이터에서 강력한 패턴 탐지 능력을 보였다.
• Blitzkriging은 유도 점 수에 대해 선형 스케일링을 보이며, 최대 172,563개의 예측 데이터를 가진 데이터셋에서도 효율적인 훈련이 가능했고, 높은 정확도를 유지했다.
• 주택 데이터에서 Blitzkriging은 랜덤 포레스트보다 높은 예측 로그우도를 기록하여, 비정상성에도 불구하고 지역 가격 변동에 대한 일반화 능력이 뛰어나다는 것을 시사했다.