[논문 리뷰] Flexible Bayesian Dynamic Modeling of Correlation and Covariance Matrices

Shiwei Lan, Andrew J. Holbrook외 4명|arXiv (Cornell University)|2017. 11. 08.

Bayesian Methods and Mixture Models참고 문헌 66인용 수 3

한 줄 요약

이 논문은 구상에서 단위벡터 곱 표현을 사용하여 동적 상관관계 및 공분산 행렬을 모델링하기 위한 유연한 베이지안 프레임워크를 제안한다. 이는 제한적인 역위샤르트 분포를 초월하여 정보가 없는, 해석 가능한 사전분포를 가능하게 한다. 사후분포 계산을 위해 적응형 Δ-구형 해밀토니안 몽테카를로(Δ-Spherical Hamiltonian Monte Carlo)를 도입하였으며, 쥐의 기억 작업에서 신경 동역학을 더 뛰어나게 탐지하여 기존에 발견되지 않았던 500ms 이전의 인지 상태 차이를 드러냈다.

ABSTRACT

Modeling correlation (and covariance) matrices can be challenging due to the positive-definiteness constraint and potential high-dimensionality. Our approach is to decompose the covariance matrix into the correlation and variance matrices and propose a novel Bayesian framework based on modeling the correlations as products of unit vectors. By specifying a wide range of distributions on a sphere (e.g. the squared-Dirichlet distribution), the proposed approach induces flexible prior distributions for covariance matrices (that go beyond the commonly used inverse-Wishart prior). For modeling real-life spatio-temporal processes with complex dependence structures, we extend our method to dynamic cases and introduce unit-vector Gaussian process priors in order to capture the evolution of correlation among components of a multivariate time series. To handle the intractability of the resulting posterior, we introduce the adaptive $Δ$-Spherical Hamiltonian Monte Carlo. We demonstrate the validity and flexibility of our proposed framework in a simulation study of periodic processes and an analysis of rat's local field potential activity in a complex sequence memory task.

연구 동기 및 목표

• 공분산 행렬 모델링에서 표준 역위샤르트 사전분포의 제한성과 유연성 부족 문제를 해결하기 위해.
• 양의 정부호성을 유지하면서도 분산 및 상관계성 성분의 해석 가능성을 유지하는 계산적으로 효율적인 베이지안 방법을 개발하기 위해.
• 특히 뇌과학 적용 분야에서 다변량 확률과정의 시간에 따라 변화하는 의존성 구조를 모델링하기 위해 동적 설정으로의 프레임워크 확장을 위해.
• 복잡한 사전분포로부터 발생하는 비가역적 사후분포를 다룰 수 있도록, 새로운 기하학적 사전분포 구조 하에서 효과적으로 샘플링할 수 있는 새로운 추론 알고리즘인 적응형 Δ-구형 해밀토니안 몽테카를로를 도입하기 위해.
• 동적 공분산 모델링의 사후 수축 속도를 이론적·실증적으로 조사하기 위해, 이 분야에서 처음으로 수행되는 연구이다.

제안 방법

• 공분산 행렬을 분산 행렬과 상관계소 행렬로 분해하고, 상관계소는 구상 위의 단위벡터 곱으로 모델링한다.
• 구상 위의 분포—예를 들어 제곱형 딜레르트 분포—를 사용하여 상관계소 행렬에 대해 민감하고 비공액성 사전분포를 유도한다.
• 시간에 따라 변화하는 상관계소 구조를 모델링하기 위해, 구상 성분에 대해 단위벡터 가우시안 프로세스 사전분포를 도입한다.
• 각 시간점에서의 결과 상관계소 행렬이 양의 정부호임을 보장하기 위해 콜레스키 분해를 적용한다.
• 새로운 기하학적 사전분포 구조 하에서 비가역적 사후분포에서 효율적으로 샘플링하기 위해 적응형 Δ-구형 해밀토니안 몽테카를로 알고리즘을 개발한다.
• 구성 요소 간에 의존성 있는 사전분포를 유지하면서도 쌍별 상관계소의 해석 가능성을 유지할 수 있도록 구조화된 매개변수화를 적용한다.

실험 결과

연구 질문

• RQ1 공분산 행렬의 사전분포로 사용되는 제한적인 역위샤르트 분포를 대체할 수 있는 기하학적 단위벡터 기반 표현이 가능한가?
• RQ2 다변량 시간열에서 구상 성분에 대한 가우시안 프로세스 사전분포를 사용하여 동적 상관계소를 효과적으로 모델링할 수 있는가?
• RQ3 제안된 베이지안 모델의 동적 공분산 행렬에 대한 사후 수축 속도는 어떻게 되며, 평균 함수의 사후 수축 속도와 비교해보면 어떠한가?
• RQ4 기존 방법이 실패하는 복잡한 인지 작업에서, 제안된 방법이 미세한 시간에 따라 변화하는 신경 연결성 변화를 탐지할 수 있는가?
• RQ5 적응형 Δ-구형 HMC 알고리즘이 고차원적이고 제약 조건이 있는 사후분포에 대해 혼합성과 수렴성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 기존 분석에서 발견되지 않았던, 쥐의 기억 작업에서 InSeq와 OutSeq 시험 간의 신경 활동 차이를 500ms 이전에 성공적으로 탐지하였다.
• 모델은 행동 반응 이전인 350ms 이전의 시간 창에서 시퀀스 정보의 조기 처리를 나타내는 뚜렷한 신경 동역학적 차이를 드러냈다.
• 사후 수축 분석 결과, 공분산 사후분포는 농도 함수와 일치하는 속도로 수축하는 것으로 나타났지만, 평균 사후분포보다 느린 것으로 나타나, 이론적 정교화의 여지가 있음을 시사했다.
• 적응형 Δ-구형 HMC 알고리즘이 복잡한 고차원 사후분포에서 효율적인 샘플링을 가능하게 하여 실제 뇌 데이터에 대한 실용적 적용을 뒷받침했다.
• 모델은 시뮬레이션된 주기적 과정과 실제 LFP 데이터에서 복잡하고 비정상적인 의존성을 더 잘 포착하는 데 있어 표준 잠재요인 모델 및 파라미터 모델을 능가했다.
• 특히 조기 인지 처리 단계에서의 동적 뇌 연결성 변화 탐지에 있어 강건성과 민감성을 입증하여, 뇌과학 분야에서의 유용성을 부각시켰다.