[논문 리뷰] A Unified Probabilistic Model for Learning Latent Factors and Their Connectivities from High-Dimensional Data

Ricardo Pio Monti, Aapo Hyvärinen|arXiv (Cornell University)|2018. 05. 24.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 고차원 데이터로부터 잠재 요인과 그들의 연결 구조를 동시에 학습하는 통합된 확률 모델을 제안한다. 비음수이자 정규직교인 요인 적재 행렬을 사용하여 변수 간의 커뮤니티 구조를 강제함으로써, 변수의 동시 클러스터링과 그룹 간 연결성 추정이 가능해지며, fMRI에서의 여러 관련 클래스(예: 피실험자)에 대해서도 확장 가능하다. 이는 표준 요인 분석 및 주성분 분석보다도 더 높은 우도와 빠른 실행 시간을 보이며, 시뮬레이션 및 실제 fMRI 데이터에서 뛰어난 성능을 발휘한다.

ABSTRACT

Connectivity estimation is challenging in the context of high-dimensional data. A useful preprocessing step is to group variables into clusters, however, it is not always clear how to do so from the perspective of connectivity estimation. Another practical challenge is that we may have data from multiple related classes (e.g., multiple subjects or conditions) and wish to incorporate constraints on the similarities across classes. We propose a probabilistic model which simultaneously performs both a grouping of variables (i.e., detecting community structure) and estimation of connectivities between the groups which correspond to latent variables. The model is essentially a factor analysis model where the factors are allowed to have arbitrary correlations, while the factor loading matrix is constrained to express a community structure. The model can be applied on multiple classes so that the connectivities can be different between the classes, while the community structure is the same for all classes. We propose an efficient estimation algorithm based on score matching, and prove the identifiability of the model. Finally, we present an extension to directed (causal) connectivities over latent variables. Simulations and experiments on fMRI data validate the practical utility of the method.

연구 동기 및 목표

• 모든 변수 간 직접 추정이 불가능한 고차원 데이터에서 연결 구조를 추정하는 데 도전하는 것.
• 잠재 연결성 추정과 변수 클러스터링(커뮤니티 탐지)을 하나의 확률적 프레임워크 안에서 통합하는 것.
• 공통의 커뮤니티 구조를 가진 다수의 관련 클래스(예: 피실험자 또는 조건) 간의 공동 모델링을 가능하게 하되, 각 클래스 별로 다른 연결 패턴을 允허하는 것.
• 무방향 및 유방향 잠재 연결성 추정을 위한 통계적으로 식별 가능하고 확장 가능한 방법을 제공하는 것.
• fMRI 데이터에서의 방법 검증을 통해 더 나은 모델 적합도와 생물학적 해석 가능성 확보

제안 방법

• 요인 분석을 확장하여 잠재 요인 간 상관 구조를 완전히(비대각) 허용하지만, 요인 적재 행렬은 비음수이자 정규직교로 제약하여 커뮤니티 소속을 표현한다.
• 적재 행렬의 구조는 각 관측 변수가 하나 이상의 커뮤니티에 속하게 하며, 비음수 적재값은 해석 가능성 강화에 기여한다.
• 완전한 우도 최대화가 필요 없이도 빠르고 안정적인 매개변수 학습이 가능한 스코어 매칭 기반의 효율적 추정 알고리즘을 제안한다.
• 잠재 베이지안 네트워크를 통해 잠재 요인 간의 인과적 연결성 추정이 가능한 방향성 연결성으로 모델을 확장한다.
• 다중 클래스 설정에서는 커뮤니티 구조(적재 행렬)를 클래스 간 공유하지만, 연결성(요인 공분산)은 각 클래스 별로 다르게 허용한다.
• 잠재 요인 수(k)에 대한 모델 선택은 검증 데이터에 대한 교차 검증을 통해 수행된다.

실험 결과

연구 질문

• RQ1 통합된 확률 모델이 고차원 데이터에서 잠재 커뮤니티 구조와 그 간 연결성을 동시에 학습시킬 수 있는가?
• RQ2 다수의 관련 클래스 간에 공통 커뮤니티 구조를 강제하면서도 각 클래스 별로 다른 연결 패턴을 허용할 수 있는가?
• RQ3 제안된 방법이 모델 적합도 및 계산 효율성 측면에서 표준 요인 분석, 주성분 분석, 그래픽 모델보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 이 방법은 fMRI 데이터에서 생물학적으로 의미 있는 뇌 모듈과 연결성 차이를 회복할 수 있는가? 특히 건강한 대조군과 ASD 환자 간의 비교에서 그렇다면?
• RQ5 제안된 제약 조건 하에서 모델이 식별 가능할 수 있으며, 방향성(인과적) 연결성으로 확장 가능한가?

주요 결과

• 제안된 방법은 검증용 fMRI 데이터에서 평균 로그우도 -163.76 (±8.86)을 달성하여, 비음수 주성분 분석(-190.47), 요인 분석(-193.89), Glasso(-198.58)보다 유의미하게 높은 성능을 보였다.
• k=5개의 잠재 모듈을 사용한 경우, 추정된 뇌 모듈은 강한 공간 일관성과 대칭성을 보였으며, 기존 신경해부학과 일치했다.
• ASD 환자에서는 전두엽-편측(모듈 2)과 후두엽(모듈 1) 또는 편도-시간대(모듈 3) 영역 간 연결성이 유의미하게 증가한 것으로 확인되었으며, 기존 문헌과 일치했다.
• Bonferroni 보정을 적용한 순열 검정 결과, ASD에서 17개의 간선이 유의미하게 증가한 것으로 확인되어 생물학적 타당성을 뒷받침했다(p < 0.01).
• FOFC보다 유의미하게 빠른 속도를 보였으며, 관측 변수 수(p)가 증가함에 따라 실행 시간이 유리하게 스케일링되었다.
• 단일 클래스 설정에서는 FOFC와 유사한 성능를 보였지만, 다중 클래스 설정에서는 모든 기준선보다 더 뛰어난 모델 적합도와 확장성에서 승리했다.