[논문 리뷰] Inference for multiple heterogeneous networks with a common invariant subspace

Jesús Arroyo, Avanti Athreya외 4명|PubMed|2019. 06. 24.

Functional Brain Connectivity Studies참고 문헌 62인용 수 42

한 줄 요약

이 논문은 공유 불변 부분공간을 갖는 다중 정렬된 그래프용으로 유연한 모델인 COSIE와 공통 구조 및 그래프 특이 파라미터를 공동으로 추정하기 위한 MASE 스펙트럴 임베딩을 도입하여 이질적 네트워크 전반에 걸친 확장 가능한 추론을 가능하게 한다.

ABSTRACT

The development of models and methodology for the analysis of data from multiple heterogeneous networks is of importance both in statistical network theory and across a wide spectrum of application domains. Although single-graph analysis is well-studied, multiple graph inference is largely unexplored, in part because of the challenges inherent in appropriately modeling graph differences and yet retaining sufficient model simplicity to render estimation feasible. This paper addresses exactly this gap, by introducing a new model, the common subspace independent-edge multiple random graph model, which describes a heterogeneous collection of networks with a shared latent structure on the vertices but potentially different connectivity patterns for each graph. The model encompasses many popular network representations, including the stochastic blockmodel. The model is both flexible enough to meaningfully account for important graph differences, and tractable enough to allow for accurate inference in multiple networks. In particular, a joint spectral embedding of adjacency matrices-the multiple adjacency spectral embedding-leads to simultaneous consistent estimation of underlying parameters for each graph. Under mild additional assumptions, the estimates satisfy asymptotic normality and yield improvements for graph eigenvalue estimation. In both simulated and real data, the model and the embedding can be deployed for a number of subsequent network inference tasks, including dimensionality reduction, classification, hypothesis testing, and community detection. Specifically, when the embedding is applied to a data set of connectomes constructed through diffusion magnetic resonance imaging, the result is an accurate classification of brain scans by human subject and a meaningful determination of heterogeneity across scans of different individuals.

연구 동기 및 목표

• 공유 잠재 구조를 포착하면서 그래프별 이질성을 허용하는 정렬된 그래프 모음에 대한 반모parametric 모델을 구상하고 개발한다.
• 그래프 간의 공통 부분공간을 활용한 실용적이고 확장 가능한 추정 절차를 도입하여 공통 및 그래프별 파라미터를 모두 추정한다.
• 약한 희소성 가정 하에서 일관성과 점근 정규성을 포함한 추정기의 이론적 특성을 보여준다.
• COSIE 프레임워크가 차원 축소, 분류, 가설 검정, 커뮤니티 탐지와 같은 다운스트림 작업을 어떻게 지원하는지 보여준다.
• 시뮬레이션 데이터와 실제 연결계 데이터에서 접근 방식을 검증하여 추론 및 분류 성능의 이점을 설명한다.

제안 방법

• 각 그래프가 공통 직교 부분공간 V와 그래프 특이 점수 행렬 R^(i)로 구성된 기댓값 V R^(i) V^T를 가지는 COSIE 모델을 정의한다.
• 인접 스펙트럴 임베딩을 사용하여 \\\hat{X}^(i)을 얻고 정점 임베딩을 쌓아 다중 인접 스펙트럴 임베딩 (MASE)을 구성한 뒤 상위 d개의 왼쪽 특이 벡터를 추출하여 V를 추정한다.
• 추정된 V가 주어졌을 때 R^(i)를 최소제곱으로 추정하는데, R^(i) = V^T A^(i) V 이다.
• 직교 변환에 의해 보정된 공통 부분공간 V에 대한 일관성을 입증하고, delocalization 및 완만한 희소성 조건하에서 R^(i)의 점근적 정규성을 확립한다.
• E[min_W in O_d ||\\hat{V} - V W||_F] <= C(1/sqrt(nm) + 1/n) 이론적 경계를 제시하고, m에 따라 감소하는 바이어스 항에 대해 논의한다.
• identifiability 결과와 R^(i)와 V가 직교 변환에 대해 식별 가능하다는 점 및 다운스트림 추론에 대한 시사점을 논의한다.

실험 결과

연구 질문

• RQ1 간단하고 유연한 다중 그래프 모델이 실제 세계의 이질적인 네트워크를 얼마나 근접하게 모사하면서도 계산적으로 다루기 쉬운가?
• RQ2 공통 부분공간 구조를 어떻게 활용하여 다중 그래프에서 그래프별 파라미터를 추정할 수 있는가?
• RQ3 제안된 추정기의 통계적 특성(일관성, 점근 정규성)은 mild sparsity 하에서 어떠한가?
• RQ4 COSIE–MASE 프레임워크를 다중 그래프 모음에서 커뮤니티 탐지, 분류, 가설 검정과 같은 작업에 어떻게 사용할 수 있는가?
• RQ5 시뮬레이션 데이터와 실제 연결계 데이터에서 기존 방법과 비교해 성능은 어떠한가?

주요 결과

• MASE는 공통 부분공간 V와 그래프별 점수 행렬 R^(i)의 일관된 추정을 제공한다.
• 완만한 희소성 및 delocalization 하에서 R^(i)의 추정값은 Procrustes 정렬 이후 점근적으로 정규분포를 따른다.
• 다중 그래프의 수 m과 그래프 크기 n에 따라 부분공간 추정 오차가 감소함을 보여주는 유한 샘플 한계를 제공한다.
• COSIE는 stochastic blockModel 등 기존 모델의 일반화를 가능하게 하며 차원을 O(mn^2)에서 O(nd + md^2)로 축소한다.
• MASE는 다중 그래프에 걸쳐 차원 축소, 분류, 가설 검정, 커뮤니티 탐지와 같은 다운스트림 작업을 효과적으로 가능하게 한다.
• 실제 연결계 데이터에 대한 경험적 결과는 피험자 분류의 정확성과 주제 간 이질성 평가의 의미 있는 개선을 보여준다.