[논문 리뷰] A Mutually-Dependent Hadamard Kernel for Modelling Latent Variable Couplings

Sami Remes, Markus Heinonen외 1명|arXiv (Cornell University)|2017. 02. 27.

Gaussian Processes and Bayesian Inference참고 문헌 34인용 수 4

한 줄 요약

이 논문은 다중 출력 회귀 및 분류에서 잠재 가우시안 프로세스 간의 입력 특화 상관관계를 모델링하는 새로운 상호의존적 Hadamard 커널을 소개한다. Wishart-Gibbs 구조를 통해 입력에 의존하는 신호 분산과 입력에 의존하는 상관 공분산을 결합함으로써, 잠재 상관관계 가우시안 프로세스(LCGP) 모델은 최첨단 성능을 달성하면서도 해석 가능한 잠재 프로세스 결합을 드러낸다. 이는 뇌파 신호 상관관계와 P300 반응이 자연스럽게 나타나는 뇌전도도(EEG) 데이터에서 입증되었다.

ABSTRACT

We introduce a novel kernel that models input-dependent couplings across multiple latent processes. The pairwise joint kernel measures covariance along inputs and across different latent signals in a mutually-dependent fashion. A latent correlation Gaussian process (LCGP) model combines these non-stationary latent components into multiple outputs by an input-dependent mixing matrix. Probit classification and support for multiple observation sets are derived by Variational Bayesian inference. Results on several datasets indicate that the LCGP model can recover the correlations between latent signals while simultaneously achieving state-of-the-art performance. We highlight the latent covariances with an EEG classification dataset where latent brain processes and their couplings simultaneously emerge from the model.

연구 동기 및 목표

• 다중 출력 가우시안 프로세스 모델에서 다수의 잠재 프로세스 간의 입력 의존적 결합을 모델링하기 위해.
• 입력과 잠재 신호 간의 상호의존성을 포괄하는 비정상적이고 구조화된 상관 공분산 커널을 개발하기 위해.
• 일반화성과 해석 가능성 향상을 위해 GPRN 프레임워크를 잠재 상관관계 구조로 확장하기 위해.
• 공유된 잠재 상관관계를 가진 다중 관측 설정에서의 스케일러블 추론을 가능하게 하기 위해.
• 모델이 진정한 잠재 상관관계를 복원하고 회귀 및 분류 과제에서 최첨단 성능을 달성할 수 있는 능력을 입증하기 위해.

제안 방법

• 비정상적 입력 커널과 Wishart 기반 상관 공분산 커널을 조합한 상호의존적 Hadamard 커널을 제안하여 잠재 신호의 상관관계를 모델링한다.
• 출력이 입력에 의존하는 혼합 행렬 B(x)를 통해 Q개의 잠재 신호의 선형 조합이 되는 잠재 상관관계 가우시안 프로세스(LCGP) 프레임워크를 사용한다.
• 잠재 신호 공분산 구조를 매개변수화하기 위해 Wishart-Gibbs 모델을 활용하여 입력 의존적 신호 분산과 상관 공분산을 가능하게 한다.
• 다중 관측 세트에서의 스케일러블 훈련을 위해 화이트닝된 기울기를 사용한 변분 베이지안 추론을 유도한다.
• 일원화된 확률적 프레임워크 내에서 잠재 변수와 출력 가능도를 모델링함으로써, 회귀와 Probit 분류를 모두 지원한다.
• 공유된 잠재 상관관계를 사용하여 다수의 피험자에 대한 EEG 데이터에 모델을 적용하고, 개별 피험자 모델을 정규화한다.

실험 결과

연구 질문

• RQ1 비정상적이고 입력 의존적인 상관 공분산 커널은 다중 작업 학습에서 잠재 프로세스 결합을 효과적으로 모델링할 수 있는가?
• RQ2 입력과 잠재 신호 커널 간의 상호의존성이 독립적 커널 가정에 비해 모델 성능과 해석 가능성 향상에 기여하는가?
• RQ3 진정한 잠재 신호 상관관계가 알려진 시뮬레이션 데이터에서 모델이 진짜 상관관계를 복원할 수 있는가?
• RQ4 공유된 잠재 상관관계를 가진 다중 관측 설정에서 LCGP의 성능은 어떠한가?
• RQ5 모델은 EEG 분류 과제에서 P300 반응과 같은 생물학적으로 의미 있는 뇌파 역학을 드러낼 수 있는가?

주요 결과

• LCGP 모델은 회귀 및 분류 과제에서 최첨단 성능을 달성하였으며, EEG 데이터에서 정규화된 LDA 기반 모델에 비해 유의미하게 뛰어난 성능(유의수준 p < 0.05)을 보였다.
• EEG 데이터셋에서 모델은 생물학적으로 타당한 잠재 신호 역학을 성공적으로 복원하였으며, 3번째 잠재 신호에서 자극 후 약 300ms에 피크를 보이는 P300 유사 반응을 확인하였다.
• 시뮬레이션 연구에서 잠재 신호 공분산이 정확하게 학습되었으며, 피셔의 통합 p-값 검정을 통해 모델이 무작위 공분산 샘플링에 비해 유의미하게 뛰어난 성능(유의수준 p < 0.05)을 보였다.
• 모델은 구조화된 결합 패턴을 드러내었으며, 첫 번째 및 세 번째 신호는 단조적으로 증가하는 공분산을 보였고, 첫 번째 및 두 번째 신호는 주기적인 공분산을 보였으며, 이는 신경 동역학과 일치하였다.
• 분류기 가중치와 스칼프 지도는 학습된 잠재 성분이 EEG 채널 전역에서 분류 가능하고 공간적으로 일관된 성격을 지닌다는 것을 보여주었다.
• 공유된 잠재 상관관계 구조는 다중 피험자 EEG 분석에서 개별 관측 모델을 효과적으로 정규화하여 일반화 성능 향상을 이룩하였다.