[논문 리뷰] Neural Non-Stationary Spectral Kernel

Sami Remes, Markus Heinonen외 1명|arXiv (Cornell University)|2018. 11. 27.

Gaussian Processes and Bayesian Inference참고 문헌 1인용 수 5

한 줄 요약

이 논문은 기존 연구에서 사용된 가우시안 프로세스 파rameterization을 대체하여, 깊이 있는 신경망을 사용해 입력에 따라 변하는 커널 하이퍼파ram터(혼합 가중치, 주파수, 분산 등)를 모델링하는 새로운 신경망 기반 비정상 스펙트럼 커널(Neural-GSM)을 제안한다. 이 방법은 시간 시리즈 및 회귀 벤치마크에서 정상 스펙트럼 혼합 커널과 GP-파arameterized 비정상 커널보다 뛰어난 예측 성능과 더 빠른 학습 속도를 달성한다.

ABSTRACT

Standard kernels such as Matérn or RBF kernels only encode simple monotonic dependencies within the input space. Spectral mixture kernels have been proposed as general-purpose, flexible kernels for learning and discovering more complicated patterns in the data. Spectral mixture kernels have recently been generalized into non-stationary kernels by replacing the mixture weights, frequency means and variances by input-dependent functions. These functions have also been modelled as Gaussian processes on their own. In this paper we propose modelling the hyperparameter functions with neural networks, and provide an experimental comparison between the stationary spectral mixture and the two non-stationary spectral mixtures. Scalable Gaussian process inference is implemented within the sparse variational framework for all the kernels considered. We show that the neural variant of the kernel is able to achieve the best performance, among alternatives, on several benchmark datasets.

연구 동기 및 목표

• 시간 시리즈 및 회귀 데이터에서 복잡한 입력 의존 패턴(예: 주기성, 장거리 의존성)을 포괄하지 못하는 정상 및 단조적 커널의 한계를 해결하기 위해.
• 기존 비정상 스펙트럼 혼합 커널의 성능을 향상시키기 위해 하이퍼파ram터에 대한 가우시안 프로세스 사전분포를 신경망으로 대체하여 더 높은 유연성과 표현력 확보하기 위해.
• 스parser variational Gaussian process 방법을 활용해 비정상 커널에 대한 확장 가능한 추론을 가능하게 하여 단일 차원에서 수천 개의 데이터 포인트를 처리할 수 있도록 하기 위해.
• 다양한 벤치마크 데이터셋에서 제안된 Neural-GSM을 정상 스펙트럼 혼합 커널, RBF, GP-기반 비정상 커널과 비교하여 실증적으로 평가하기 위해.

제안 방법

• 혼합 가중치, 주파수 평균, 분산 등 커널 하이퍼파ram터들이 입력에 따라 함수화되도록 피드포워드 신경망을 통해 파arameterization한다.
• 결과적으로 유도된 Neural-GSM 커널은 대규모 데이터셋에서의 확장 가능한 가우시안 프로세스 회귀를 가능하게 하는 스퍼스 변분 추론 프레임워크에 통합된다.
• 유도점( inducing points )을 사용한 확률적 최적화를 통해 변분 하한(ELBO)을 최적화함으로써 모델을 엔드 투 엔드로 학습시킨다.
• 스펙트럼 혼합 커널을 일반화하기 위해 스펙트럼 성분의 입력 의존적 조절을 허용함으로써 비정상적이고 비단조적 행동을 가능하게 한다.
• 신경망 기반 파arameterization은 Remes 등(2017)에서 사용된 GP 기반 하이퍼파ram터 함수를 대체하여 최적화 속도와 성능 향상을 이룬다.
• 이 프레임워크는 회귀 및 시간 시리즈 모델링 모두를 지원하며, 태양 활동, 동작 캡처, UCI 데이터셋에 대한 실험을 수행한다.

실험 결과

연구 질문

• RQ1 신경망이 스펙트럼 혼합 커널의 하이퍼파aram터를 효과적으로 파arameterization하여 데이터의 복잡한 입력 의존 패턴을 모델링할 수 있는가?
• RQ2 신경망 기반 비정상 커널의 예측 정확도 및 우도 측면에서 정상 스펙트럼 혼합 커널 및 GP-기반 비정상 커널과 비교해 성능가능성은 어떠한가?
• RQ3 신경망 기반 파arameterization은 GP 기반 하이퍼파aram터 함수에 비해 수렴 속도가 빠르고 최적화 반복당 벽시계 시간이 줄어드는가?
• RQ4 Neural-GSM 커널은 RBF와 같은 정상 커널보다 시간 시리즈 데이터에서 장거리 및 주기적 의존성을 더 잘 포착할 수 있는가?
• RQ5 스퍼스 변분 추론을 활용할 경우, 데이터 크기 및 학습 효율성 측면에서 제안된 방법의 확장성은 어떠한가?

주요 결과

• Neural-GSM 커널은 태양 활동 및 동작 캡처 시간 시리즈 데이터셋에서 RBF, 정상 SM, GP-GSM 커널을 모두 앞서는 최고의 예측 성능을 달성했다.
• CMU 동작 캡처 데이터셋에서 Neural-GSM은 정상 SM 커널이 과신경한 넓은 신뢰구간을 생성하는 데 비해 날카운 피크와 동적 변화를 더 정확하게 포착했다.
• Neural-GSM은 GP-GSM 버전 대비 약 2배 빠른 학습 속도를 기록했으며, 수렴에 필요한 최적화 단계 수도 유사한 수준이었다.
• UCI Protein 및 Power 회귀 벤치마크에서 Neural-GSM은 가장 낮은 테스트 오차와 가장 높은 로그우도를 기록하여 RBF, SM, GP-GSM를 모두 능가했다.
• GP-GSM 버전은 수렴에서 불안정성과 런 간 우도 및 오차 추정치의 높은 분산을 보이며 최적화의 낮은 안정성을 나타냈다.
• 스퍼스 변분 추론 프레임워크 덕분에 수천 개의 포인트를 포함한 데이터셋에서도 확장 가능한 학습이 가능했으며, 이는 이전 연구에서 사용된 크로네커 기반 접근 방식을 넘어서 실용적 적용 가능성을 입증했다.