[논문 리뷰] Latent Correlation Gaussian Processes

Sami Remes, Markus Heinonen외 1명|arXiv (Cornell University)|2017. 02. 27.

Gaussian Processes and Bayesian Inference인용 수 1

한 줄 요약

이 논문은 비정상적 커널과 입력에 의존하는 혼합 행렬을 사용하여 다중 잠재 과정 간의 입력 의존성 상관관계를 포착하는 잠재 상관계수 가우시안 프로세스(LCGP) 모델을 제안한다. 변분 베이지안 추론을 활용함으로써 LCGP는 다중 출력 회귀 및 분류에서 최신 기술 수준의 성능을 달성하며, 특히 EEG 데이터에서 의미 있는 뇌 기능 과정 간의 상관관계를 드러낸다.

ABSTRACT

We introduce a novel kernel that models input-dependent couplings across multiple latent processes. The pairwise joint kernel measures covariance along inputs and across different latent signals in a mutually-dependent fashion. A latent correlation Gaussian process (LCGP) model combines these non-stationary latent components into multiple outputs by an input-dependent mixing matrix. Probit classification and support for multiple observation sets are derived by Variational Bayesian inference. Results on several datasets indicate that the LCGP model can recover the correlations between latent signals while simultaneously achieving state-of-the-art performance. We highlight the latent covariances with an EEG classification dataset where latent brain processes and their couplings simultaneously emerge from the model.

연구 동기 및 목표

• 다중 출력 가우시안 프로세스 회귀에서 다수의 잠재 과정 간의 복잡한 입력 의존성 상관관계를 모델링하기.
• 기존 GP 모델이 잠재 함수 간의 동적이고 비정상적인 상관관계를 포착하는 데 한계가 있음을 해결하기.
• 공유되는 잠재 구조를 가진 다수의 관측 세트로부터 공동 학습을 가능하게 하기.
• 분류 및 회귀에 대해 변분 베이지안 방법을 통해 스케일러블한 최적화를 수행할 수 있는 유연한 추론 프레임워크 도출하기.

제안 방법

• LCGP 모델은 입력과 잠재 과정 간의 상관관계를 상호 의존적으로 표현하는 새로운 쌍별 공동 커널을 사용한다.
• 비정상적 잠재 성분들을 다수의 출력으로 조합하기 위해 입력에 의존하는 혼합 행렬을 도입한다.
• 비모수적 사후 추정을 가능하게 하기 위해 변분 베이지안 추론을 활용하여 프로빗 분류 및 다수의 관측 세트에 대한 추론을 수행한다.
• 커널 구조는 고정된 상관관계 패턴을 가정하지 않고 데이터 기반으로 잠재 신호 의존성을 영리하게 발견할 수 있도록 한다.
• 동적 결합을 가진 공유 잠재 표현을 학습함으로써 다중 출력 예측을 지원한다.
• 추론 절차는 잠재 과정 상관관계에 대한 스케일러블한 최적화를 통해 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 모델이 다중 출력 회귀에서 다수의 잠재 과정 간의 입력 의존성 상관관계를 효과적으로 포착할 수 있는가?
• RQ2 LCGP 모델은 실제 데이터, 예를 들어 EEG 신호와 같은 진정한 잠재 신호 상관관계를 얼마나 잘 복원할 수 있는가?
• RQ3 입력 의존성 혼합을 통합함으로써 표준 GP 모델 대비 예측 성능이 향상되는가?
• RQ4 LCGP 모델은 공유 잠재 구조를 학습하면서도 다수의 관측 세트를 공동으로 처리할 수 있는가?
• RQ5 EEG 데이터에서 모델이 학습한 상관관계를 통해 뇌 기능 과정에 대한 어떤 통찰을 도출할 수 있는가?

주요 결과

• LCGP 모델은 다중 출력 회귀 및 분류 작업에서 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능를 달성한다.
• EEG 분류 데이터셋에서 모델은 생물학적으로 타당한 잠재 뇌 기능 과정과 그들의 동적 결합을 성공적으로 복원한다.
• 학습된 잠재 공분산은 신경생리학적 기대와 일치하는 뇌 영역 간의 의미 있는 기능적 관계를 드러낸다.
• 모델은 비정상적이고 입력 의존적인 잠재 함수 간의 의존성 관계를 포착하는 데 있어 강건성과 유연성을 보인다.
• 변분 베이지안 추론은 다수의 관측 세트가 존재하는 상황에서도 효과적이고 스케일러블한 학습을 가능하게 한다.
• 의미 있는 잠재 구조를 가진 복잡한 상관관계 출력을 모델링하는 데 있어 기존 GP 기반 방법보다 LCGP 모델이 뛰어난 성능를 보인다.