[논문 리뷰] Function-Space Distributions over Kernels

Gregory W. Benton, Wesley J. Maddox외 3명|arXiv (Cornell University)|2019. 10. 29.

Gaussian Processes and Bayesian Inference인용 수 8

한 줄 요약

이 논문은 스펙트럼 밀도에 변환된 가우시안 프로세스를 적용하여 커널 함수의 불확실성을 직접 모델링하는 비모수적 베이지안 방법인 기능 커널 학습(FKL)을 소개한다. 기능 공간에서 작동함으로써 FKL은 민감도가 높고 해석 가능한 커널 추론을 가능하게 하며, 수치적 보정 없이도 보간, 외삽, 커널 복원에서 뛰어난 성능을 발휘한다. 이는 수동 초기화나 복잡한 튜닝이 필요로 하지 않는 파rametric 커널보다도 뛰어난 성능을 보인다.

ABSTRACT

Gaussian processes are flexible function approximators, with inductive biases controlled by a covariance kernel. Learning the kernel is the key to representation learning and strong predictive performance. In this paper, we develop functional kernel learning (FKL) to directly infer functional posteriors over kernels. In particular, we place a transformed Gaussian process over a spectral density, to induce a non-parametric distribution over kernel functions. The resulting approach enables learning of rich representations, with support for any stationary kernel, uncertainty over the values of the kernel, and an interpretable specification of a prior directly over kernels, without requiring sophisticated initialization or manual intervention. We perform inference through elliptical slice sampling, which is especially well suited to marginalizing posteriors with the strongly correlated priors typical to function space modelling. We develop our approach for non-uniform, large-scale, multi-task, and multidimensional data, and show promising performance in a wide range of settings, including interpolation, extrapolation, and kernel recovery experiments.

연구 동기 및 목표

• 고정된 파arametric 가족의 파라미터를 학습하는 대신, 커널 함수에 대한 불확실성을 직접 모델링하는 기능 공간 접근법을 개발하는 것.
• 사용자가 커널의 구조(예: 부드러움, 주기성 등)에 대한 믿음을 직접 기능 공간에서 표현할 수 있도록 해석 가능한 사전 분포 설정을 가능하게 하는 것.
• 기존 파arametric 접근법에서 흔히 발생하는 정교한 초기화나 수동 간섭이 필요로 하지 않도록 하는 것.
• 대규모 다차원 및 다중 작업 데이터셋, 특히 비정규 간격 및 고차원 데이터에까지 적용 가능한 확장성 확보.
• 통합된 프레임워크를 통해 보간, 외삽, 커널 복원 등 다양한 환경에서 강력한 경험적 성능을 입증하는 것.

제안 방법

• 정상 커널의 스펙트럼 밀도를 변환된 가우시안 프로세스로 모델링하여 기능 공간에서 커널 함수에 대한 비모수적 분포를 가능하게 한다.
• 역 푸리에 변환과 같은 결정론적 변환을 사용하여 스펙트럼 밀도 GP를 유효한 커널 함수로 매핑함으로써 양의 정부호성을 보장한다.
• 기능 공간 모델에서 일반적으로 나타나는 강한 상관관계를 가진 사전분포를 효과적으로 처리하기 위해 타원형 샘플링(elliptical slice sampling)을 활용한 추론 수행.
• 다중 작업 및 다차원 설정으로의 확장은 작업 또는 입력 차원 간에 잠재 GP를 공유함으로써 구현되며, 이는 구조적 공분산 학습을 가능하게 한다.
• 격자형 데이터(예: 이미지)에서 크로네커 구조를 활용하여 추론 복잡도를 O(PN^{P/2})로 줄여 대규모 데이터셋에 대한 확장성 확보(기존 O(N^3) 대비).
• 입력 차원 간의 커널 곱셈 분해를 통해 공유 또는 독립적인 잠재 GP를 사용하여 복잡한 고차원 공분산 구조를 모델링한다.

실험 결과

연구 질문

• RQ1 스펙트럼 밀도에 대한 비모수적 기능 공간 사전분포가 파arametric 가족에 의존하지 않고도 민감하고 해석 가능한 커널 학습을 가능하게 할 수 있는가?
• RQ2 상위 수준의 파arametric 커널과 비교해 볼 때, 이러한 방법은 분포 외부 외삽 및 커널 복원 과제에서 얼마나 잘 일반화되는가?
• RQ3 불확실성 정량화와 예측 정확도를 유지하면서도 대규모 다차원 및 다중 작업 데이터셋에 대해 어느 정도 확장 가능한가?
• RQ4 기능 공간 접근법이 기존 방법에서 흔히 발생하는 수동 하이퍼파ram터 튜닝 및 복잡한 초기화 절차의 필요성을 줄일 수 있는가?
• RQ5 실제 데이터(예: 텍스처, 기후 시계열)에서 커널 형태에 대한 사전 가정 없이도 풍부하고 구조적인 공분산 패턴을 드러낼 수 있는가?

주요 결과

• UCI 데이터셋에서 FKL은 표준 파arametric 커널(RBF, ARD, Matérn) 및 스펙트럼 혼합 커널보다 보간 및 외삽 과제에서 더 낮은 평균 RMSE와 향상된 불확실성 캘리브레이션을 기록했다.
• 에어포일 데이터셋에서 FKL은 각 입력 차원에 대해 별도로 추출된 해석 가능한 커널 함수를 성공적으로 학습하였으며, 사후 샘플은 진짜 구조와 불확실성을 잘 반영했다.
• 다중 작업 강우량 모델링에서 공유된 잠재 GP를 사용한 FKL은 지리적으로 유사한 지역 간의 계절 패턴을 정확히 포착하였으며, 적절한 신뢰구간을 제공하는 신뢰할 수 있는 예측 분포를 생성했다.
• 10,000 픽셀의 스틸 티어드플레이트 이미지에서 FKL은 훈련 도메인을 초월해 텍스처 패턴을 성공적으로 외삽했으며, 표준 RBF 커널은 주기적 구조를 포착하지 못했다.
• 스펙트럼 혼합 커널이 수렴을 위해 초기화에 크게 의존하는 데 반해, FKL은 정교한 초기화 없이도 뛰어난 성능을 기록했다.
• 타원형 샘플링의 사용으로 인해 매우 상관관계가 높은 기능 공간 사전분포에 대한 효율적인 사후 추론이 가능해졌으며, 모든 실험 설정에서 강력한 불확실성 정량화가 가능했다.