[논문 리뷰] Generalized Spectral Kernels

Yves-Laurent Kom Samo, Stephen Roberts|arXiv (Cornell University)|2015. 06. 07.

Gaussian Processes and Bayesian Inference참고 문헌 20인용 수 25

한 줄 요약

이 논문은 임의의 연속 유계 커널, 정상성 여부에 관계없이 임의의 정밀도로 근사할 수 있는 접근 가능한 커널 가족인 일반화된 스펙트럼 커널을 소개한다. 특이 측도와 연속 측도를 포함하도록 스펙트럼 표현을 확장함으로써, 이 방법은 함수의 매끄러움(예: Matérn 유사 정규성)을 학습할 수 있으며, 기존의 스펙트럼 커널(예: 스펙트럼 혼합 및 희소 스펙트럼 커널)에 비해 더 적은 파라미터로 뛰어난 정확도를 달성한다.

ABSTRACT

In this paper we propose a family of tractable kernels that is dense in the family of bounded positive semi-definite functions (i.e. can approximate any bounded kernel with arbitrary precision). We start by discussing the case of stationary kernels, and propose a family of spectral kernels that extends existing approaches such as spectral mixture kernels and sparse spectrum kernels. Our extension has two primary advantages. Firstly, unlike existing spectral approaches that yield infinite differentiability, the kernels we introduce allow learning the degree of differentiability of the latent function in Gaussian process (GP) models and functions in the reproducing kernel Hilbert space (RKHS) in other kernel methods. Secondly, we show that some of the kernels we propose require fewer parameters than existing spectral kernels for the same accuracy, thereby leading to faster and more robust inference. Finally, we generalize our approach and propose a flexible and tractable family of spectral kernels that we prove can approximate any continuous bounded nonstationary kernel.

연구 동기 및 목표

• 모든 연속 유계 커널, 비정상성 커널을 포함하여 임의의 정밀도로 근사할 수 있는 커널 가족을 개발하는 것.
• 기존 스펙트럼 커널이 무한 차수의 미분 가능성을 가정하고 잠재 함수의 매끄러움을 학습할 수 없음이라는 한계를 극복하는 것.
• 정확한 커널 근사에 필요한 파라미터 수를 줄이면서도 추론 속도와 안정성을 유지하거나 향상시키는 것.
• 정상성의 범위를 넘어서 스펙트럼 커널 방법을 일반화하여, 시간 반전 분수 브라운 운동과 같은 비정상적 구조를 효과적으로 모델링할 수 있도록 하는 것.
• 손으로 설계된 공분산 함수에 의존하지 않고, 가우시안 프로세스 및 기타 커널 방법에 적용 가능한 이론적으로 탄탄하고 유연한 커널 가족을 제공하는 것.

제안 방법

• 보흐너 정리를 활용하여 정상 커널을 스펙트럼 측도로 표현하고, 이를 연속 및 이산(특이) 성분을 포함하도록 확장한다.
• 스펙트럼 측도를 델타 질량과 밀도 함수의 유한 혼합으로 모델링하는 일반화된 스펙트럼 커널 가족을 도입한다.
• 레베그의 분해 정리를 활용하여 스펙트럼 측도를 절대 연속 부분과 특이 부분으로 분리함으로써, 매끄러움과 불연속성의 민감한 모델링을 가능하게 한다.
• 스펙트럼 밀도와 이산 질량에 대한 매개변수 형태를 사용하여 접근 가능한 커널 가족을 구성한다: $ k( au) = rac{1}{2} heta_0 + heta_1 ext{Re} ig( ext{tr}(oldsymbol{W} oldsymbol{D} oldsymbol{W}^T) ig) + heta_2 ext{tr}(oldsymbol{W} oldsymbol{D} oldsymbol{W}^T) $, 여기서 $ oldsymbol{D} $ 는 스펙트럼 가중치의 대각행렬이다.
• 확장된 랜덤 푸리에 특징과 비정상성 확장을 적용하여 스케일러블 추론을 구현함으로써, 효율적인 GP 회귀와 커널 근사를 가능하게 한다.
• 균일 격자상에서 목표 커널(예: IFBM)과 일반화된 스펙트럼 커널 간의 제곱오차 최소화를 통한 커널 파라미터 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 접근 가능한 커널 가족이 비정상성 커널을 포함한 모든 연속 유계 커널을 임의의 정밀도로 근사할 수 있는가?
• RQ2 일반화된 스펙트럼 커널은 기존 스펙트럼 커널이 불가능한 잠재 함수의 매끄러움(미분 가능성)을 학습할 수 있는가?
• RQ3 제안된 커널이 더 적은 파라미터로 스펙트럼 혼합 및 희소 스펙트럼 커널보다 높은 정확도를 달성할 수 있는가?
• RQ4 일반화된 스펙트럼 커널이 비정상 커널, 예를 들어 시간 반전 분수 브라운 운동과 같은 커널을 얼마나 잘 근사할 수 있는가?
• RQ5 일반화된 스펙트럼 커널의 비정상성 확장이 커널 방법에서 스케일러블 추론에 사용될 수 있는가?

주요 결과

• 일반화된 스펙트럼 커널은 연속 유계 커널의 공간에서 조밀함을 띠며, 이는 임의의 그러한 커널을 임의로 잘 근사할 수 있음을 의미한다.
• 공기 온도 이상 데이터셋에서 스펙트럼 매테른 1/2 커널이 가장 낮은 RMSE(1.28)를 기록하여 스펙트럼 혼합 및 기타 경쟁 커널을 능가했다.
• 시간 반전 분수 브라운 운동 커널에서 비정상성 일반화된 스펙트럼 커널은 $ h = 0.2 $ 에서 정규화된 RMSE가 최소 0.08에 도달했으며, 정상성 대비 상당히 뛰어난 성능(예: S-SE: 0.22)을 보였다.
• 단지 5개의 스펙트럼 성분만으로도 비정상성 일반화된 스펙트럼 커널이 IFBM 커널을 고정밀도로 근사함으로써, 이 방법의 효율성과 표현력이 입증되었다.
• 이 방법은 함수의 매끄러움을 학습할 수 있다: 매테른 1/2 커널이 최적으로 선택되었으며, 이는 잠재 온도 이상이 연속적이지만 그 이상으로 매끄럽지 않음을 시사한다.
• 일반화된 스펙트럼 커널의 비정상성 확장은 정상 커널이 도달할 수 없는 비대칭적이고 비정상적인 상관관계 구조(예: IFBM에서의 것)를 모델링할 수 있도록 한다.