[논문 리뷰] Generalized Spectral Mixture Kernels for Multi-Task Gaussian Processes

Kai Chen, P. Groot외 2명|arXiv (Cornell University)|2018. 08. 03.

Gaussian Processes and Bayesian Inference참고 문헌 40인용 수 4

한 줄 요약

이 논문은 비선형 작업 상관관계와 스펙트럼 성분 간의 상관관계(예: 시간 지연 및 단위 이동)를 모델링할 수 있는 다중작업 가우시안 프로세스를 위한 일반화된 스펙트럼 혼합 커널을 소개한다. 일반화된 컨볼루션 스펙트럼 혼합과 코어지오레지오나라이제이션을 조합함으로써, 모델의 표현력과 해석 가능성 모두 향상되며, 합성 데이터 및 실세계 데이터에서 기존의 MTGP 방법들을 능가한다.

ABSTRACT

Multi-Task Gaussian processes (MTGPs) have shown a significant progress both in expressiveness and interpretation of the relatedness between different tasks: from linear combinations of independent single-output Gaussian processes (GPs), through the direct modeling of the cross-covariances such as spectral mixture kernels with phase shift, to the design of multivariate covariance functions based on spectral mixture kernels which model delays among tasks in addition to phase differences, and which provide a parametric interpretation of the relatedness across tasks. In this paper we further extend expressiveness and interpretability of MTGPs models and introduce a new family of kernels capable to model nonlinear correlations between tasks as well as dependencies between spectral mixtures, including time and phase delay. Specifically, we use generalized convolution spectral mixture kernels for modeling dependencies at spectral mixture level, and coupling coregionalization for discovering task level correlations. The proposed kernels for MTGP are validated on artificial data and compared with existing MTGPs methods on three real-world experiments. Results indicate the benefits of our more expressive representation with respect to performance and interpretability.

연구 동기 및 목표

• 비선형 작업 상관관계를 모델링함으로써 다중작업 가우시안 프로세스(MTGPs)의 표현력과 해석 가능성을 향상시키는 것.
• 기존의 MTGP 방법들이 작업 간 선형 또는 단위 이동 관계를 가정하는 데서 비롯되는 한계를 해결하는 것.
• 작업 간 상관관계뿐 아니라 스펙트럼 혼합 성분 간의 의존성(예: 시간 지연 및 단위 이동)을 모델링하는 것.
• 통합 커널 프레임워크를 통해 식별 가능한 스펙트럼 성분과 결합 파rameter를 통해 작업 간 관련성의 매개변수 기반 해석 가능한 표현을 제공하는 것.
• 제안된 커널이 합성 데이터 및 실세계 다중작업 회귀 문제에서 검증되는 것.

제안 방법

• 이 방법은 스펙트럼 성분 간의 의존성을 모델링하기 위해 일반화된 컨볼루션 스펙트럼 혼합 커널을 사용하여 비선형 관계를 가능하게 한다.
• 공유 기저 함수를 통해 작업 수준의 상관관계를 발견하고 표현하기 위해 코어지오레지오나라이제이션을 통합한다.
• 스펙트럼 혼합 파rameter를 통해 시간 지연 및 단위 이동을 스펙트럼 성분 간의 의존성으로 모델링할 수 있다.
• 스펙트럼 혼합 커널과 구조화된 공분산 함수를 조합함으로써 상호작업 및 내부 스펙트럼 의존성을 모두 캡처하는 접근 방식이다.
• 표준 GP 추론과 최대 우도 최적화를 사용하여 커널 하이퍼파ram터를 엔드 투 엔드로 학습한다.
• 식별 가능한 스펙트럼 성분과 결합 파ram터를 통해 작업 간 관련성의 매개변수 기반 해석 가능성을 제공하는 프레임워크를 지원한다.

실험 결과

연구 질문

• RQ1 일반화된 스펙트럼 혼합 커널은 기존의 MTGP 방법보다 비선형 작업 상관관계를 더 효과적으로 모델링할 수 있는가?
• RQ2 스펙트럼 성분 간 의존성을 통해 모델은 작업 간 시간 지연과 단위 이동을 어느 정도 정확히 포착할 수 있는가?
• RQ3 기존의 기준선 MTGP와 비교해 볼 때, 제안된 커널은 실세계 다중작업 회귀 과제에서 예측 성능을 어떻게 향상시키는가?
• RQ4 식별 가능한 스펙트럼 파ram터를 통해 모델은 작업 간 관련성에 대한 해석 가능한 통찰을 제공할 수 있는가?
• RQ5 일반화된 컨볼루션과 코어지오레지오나라이제이션의 조합은 MTGP에서 표현력과 해석 가능성을 어떻게 향상시키는가?

주요 결과

• 제안된 일반화된 스펙트럼 혼합 커널은 기존의 MTGP 방법들보다 세 개의 실세계 다중작업 회귀 데이터셋에서 예측 성능을 크게 향상시켰다.
• 선형 또는 단위 이동 모델이 표현하지 못하는 비선형 작업 상관관계를 모델이 성공적으로 포착하였다.
• 스펙트럼 성분 간 의존성을 통해 시간 지연 및 단위 이동을 모델링함으로써 더 정확한 작업 간 관계 추정이 가능해졌다.
• 커널의 매개변수 기반 구조 덕분에 주파수 성분의 주도성과 지연 시간 등을 식별함으로써 작업 간 관련성에 대한 해석 가능한 통찰을 제공할 수 있었다.
• 합성 데이터에서는 모델이 작업 간 진정한 스펙트럼 및 시간적 관계를 정확히 복원하였다.
• 복잡한 상호작업 의존성 구조를 포함한 다양한 다중작업 학습 시나리오에서도 모델은 강건성과 일반화 능력을 보였다.