[논문 리뷰] Graph quilting: graphical model selection from partially observed covariances

Giuseppe Vinci, Gautam Dasarathy외 1명|arXiv (Cornell University)|2019. 12. 11.

Gene expression and cancer classification참고 문헌 78인용 수 6

한 줄 요약

이 논문은 많은 변수 쌍이 동시에 측정되지 않는 부분 관측 공분산에서 가우시안 그래픽 모델을 학습하는 데 위한 Graph Quilting 방법을 제안한다. $β$-강한 볼록 최적화와 $β$-강한 미분 가능 최적화에 $β$-조건화를 적용함으로써, 근사 공분산이 관측되지 않은 경우에도 조건부 의존성을 복원할 수 있으며, 온건한 조건 하에서 정밀도 행렬 추정이 일관되게 이루어지고 유한 표본에서 간선 복원에 대한 보장을 제공한다.

ABSTRACT

Graphical model selection is a seemingly impossible task when many pairs of variables are never jointly observed; this requires inference of conditional dependencies with no observations of corresponding marginal dependencies. This under-explored statistical problem arises in neuroimaging, for example, when different partially overlapping subsets of neurons are recorded in non-simultaneous sessions. We call this statistical challenge the "Graph Quilting" problem. We study this problem in the context of sparse inverse covariance learning, and focus on Gaussian graphical models where we show that missing parts of the covariance matrix yields an unidentifiable precision matrix specifying the graph. Nonetheless, we show that, under mild conditions, it is possible to correctly identify edges connecting the observed pairs of nodes. Additionally, we show that we can recover a minimal superset of edges connecting variables that are never jointly observed. Thus, one can infer conditional relationships even when marginal relationships are unobserved, a surprising result! To accomplish this, we propose an $\ell_1$-regularized partially observed likelihood-based graph estimator and provide performance guarantees in population and in high-dimensional finite-sample settings. We illustrate our approach using synthetic data, as well as for learning functional neural connectivity from calcium imaging data.

연구 동기 및 목표

• 많은 변수 쌍이 동시에 관측되지 않는 상황에서 그래픽 모델을 학습하는 통계적 과제를 해결하기 위해, 이는 뇌 영상 및 게놈학에서 흔한 상황이다.
• 관측되지 않은 쌍 간의 경험적 근거가 없더라도 조건부 의존성을 추론할 수 있음을 보여주기 위해.
• 관측된 변수 쌍뿐만 아니라 관측되지 않은 변수 쌍 간의 간선을 식별하는 방법을 개발하여 진정한 간선의 최소 초집합을 복원하기 위해.
• 제안된 추정기의 인구 및 고차원 유한 표본 설정에서의 이론적 성능 보장을 제공하기 위해.
• 합성 데이터와 실제 칼슘 이미징 데이터를 활용하여 功能 신경 연결성 추론에 대한 방법의 유용성을 입증하기 위해.

제안 방법

• 부분 공분산 관측 조건 하에서 정밀도 행렬 추정을 위한 $β$-강한 볼록성과 $β$-강한 미분 가능성을 갖춘 최적화 프레임워크를 제안한다.
• 고차원 설정에서 최적화 과정의 안정성과 수렴성을 보장하기 위해 $β$-조건화를 활용한다.
• $β$-강한 볼록성과 미분 가능성을 적용하여 정밀도 행렬 추정 오차의 유한 표본 오차 범위를 유도한다.
• 정밀도 행렬을 분해하고 부분행렬의 변화를 분석하기 위해 슈어 여부항식(Schur complement identities)을 적용한다.
• 희소성과 누락 데이터 처리를 위해 $β$-노름 페널티를 포함한 가능도 기반 추정기를 도입한다.
• 진짜 정밀도 행렬과 추정 정밀도 행렬 간의 $∞$-노름 차이에 대한 이론적 경계를 유도하여 간선 복원 일관성을 보장한다.

실험 결과

연구 질문

• RQ1 일부 변수 쌍 간의 근접 공분산이 동시 측정이 이루어지지 않아 관측되지 않을 경우, 조건부 의존성을 복원할 수 있는가?
• RQ2 누락된 데이터가 존재함에도 불구하고, 결코 함께 관측되지 않는 변수 쌍 간의 간선를 포함하는 최소 초집합을 식별할 수 있는가?
• RQ3 어떤 조건 하에서 부분 관측된 공분산 행렬로부터 희소 정밀도 행렬을 일관되게 추정할 수 있는가?
• RQ4 관측된 쌍이 많은 경우 $p > n$ 인 고차원 설정에서 제안된 추정기는 어떻게 성능을 발휘하는가?
• RQ5 관측된 공분산 행렬이 불완전할 경우에도 진짜 그래프 구조를 복원할 수 있는가?

주요 결과

• 제안된 추정기는 전체 공분산 행렬이 관측되지 않더라도 관측된 변수 쌍 간의 간선을 온건한 조건 하에서 일관되게 복원한다.
• 메모리에 기록되지 않은 변수 쌍 간의 최소 초집합 간선을 성공적으로 식별하여, 근접 의존성 증거 없이도 조건부 의존성을 추론할 수 있다.
• $∞$-노름 기반 정밀도 행렬 추정 오차의 유한 표본 오차 경계가 유도되었으며, $β$-조건화 하에서 수렴함을 보였다.
• 인구 및 고차원 설정 모두에서 이론적 보장을 확립하여 신뢰할 수 있는 그래프 선택을 보장한다.
• 합성 데이터와 칼슘 이미징 데이터에 대한 실증 검증을 통해, 높은 정확도로 기능 신경 연결성을 복원할 수 있음을 확인하였다.
• 슈어 여부항식 기반 분해를 통해 부분행렬 변화의 정밀한 분석이 가능해졌으며, 이는 이론적 성능 경계의 기초가 되었다.