[논문 리뷰] Non-Stationary Spectral Kernels

Sami Remes, Markus Heinonen외 1명|arXiv (Cornell University)|2017. 05. 24.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 50

한 줄 요약

본 논문은 입력 의존 주파수를 Gaussian process 표면으로 모델링하여 비정상적이고 비단조적 공분산을 가능하게 하는 generalized spectral mixture (GSM) 커널을 Gaussian processes에 제시하고, 시간 시계열, 텍스처 이미지, 기후 데이터에서의 효과를 보여준다.

ABSTRACT

We propose non-stationary spectral kernels for Gaussian process regression. We propose to model the spectral density of a non-stationary kernel function as a mixture of input-dependent Gaussian process frequency density surfaces. We solve the generalised Fourier transform with such a model, and present a family of non-stationary and non-monotonic kernels that can learn input-dependent and potentially long-range, non-monotonic covariances between inputs. We derive efficient inference using model whitening and marginalized posterior, and show with case studies that these kernels are necessary when modelling even rather simple time series, image or geospatial data with non-stationary characteristics.

연구 동기 및 목표

• Real 데이터에서 비정상적이고 비단조적 공분산의 필요성을 동기화합니다.
• Gaussian processes를 사용하여 스펙트럴 밀도를 입력 의존 주파수 표면으로 모델링합니다.
• 실용적인 GSM 커널을 도출하여 닫힌 형태의 비정상적 커널을 제공합니다.
• 모델 화이트닝과 주변 로그 포스터를 사상 최대화(MAP) 추론을 통해 효율적인 추론을 제공합니다.
• 커널을 시간 시계열, 텍스처 이미지, 기후(육지 표면 온도) 데이터에 대해 시연합니다.]
• method_ko_list_1_missing_placeholder
• method_ko_list_2_missing_placeholder

제안 방법

• 비대칭적인 k(x,x')를 S(s,s')라는 스펙트럴 표면과 관계시키는 일반화 푸리에 변환을 통해 정의합니다.
• S(s,s')를 이변량 가우시안 성분의 혼합으로 모델링하되, PSD와 실수 케널을 보장하기 위한 대칭 제약을 둡니다.
• 가중치, 주파수, 길이척도를 가우시안 프로세스로 매개화하여 입력 의존적 스펙트로그램을 형성합니다.
• GSM 커널: k_GSM(x,x') = sum_i w_i(x) w_i(x') k_gibbs,i(x,x') cos(2π(μ_i(x)x − μ_i(x')x'))를 도출합니다.
• 확장된 다변량 입력에 대해 차원별 곱으로 확장 가능한 Kronecker 구조를 사용하여 확장 가능한 추론을 제공합니다.
• 화이트닝과 로그 주변 포스터를 사용한 MAP 추론으로 고차원 설정에서의 최적화와 과적합을 방지합니다.]
• research_questions_ko_list_1_missing_placeholder
• research_questions_ko_list_2_missing_placeholder

실험 결과

연구 질문

• RQ1 비정상적이고 비단조적 공분산을 데이터로부터 스펙트럴 표현으로 어떻게 학습할 수 있는가?
• RQ2 GP 대리모델에 의해 포획된 입력 의존 주파수와 진폭이 입력 공간 전반의 장거리 상관관계와 비균일한 유사성을 가능하게 하는가?
• RQ3 GSM 커널은 시간 시계열, 질감, 시공간 기후 데이터에서 정상 커널 및 기존의 비정상 접근법에 비해 향상된 모델링 및 외삽을 제공하는가?

주요 결과

• GSM 커널은 GP로 모델링된 스펙트로그램을 통해 입력 의존 주파수 패턴을 인코딩하여 비정상적이고 비단조적 공분산을 가능하게 한다.
• GP 구성요소가 상수인 경우 GSM은 정상 Spectral Mixture 커널로 수렴하여 기존 모델과의 일관성을 보인다.
• 시뮬레이션된 시간 시계열, 텍스처, 지상 표면 온도에 대한 실험은 SM, SS, SE 기준선보다 더 강한 성능과 더 현실적인 외삽을 보여준다.
• 커널은 기후 데이터에서 비대칭적 공간 공분산을 포착하며 지역적 및 전역적 입력 의존 상관관계를 모델링하는 능력을 보여준다.
• 파라미터를 화이트닝하고 주변 포스터를 사용한 추론은 효율적인 추론과 고차원 설정에서의 과적합 방지를 가능하게 한다.