[논문 리뷰] Network inference in matrix-variate Gaussian models with non-independent noise

Andrew Dahl, Victoria Hore외 2명|arXiv (Cornell University)|2013. 12. 05.

Bioinformatics and Genomic Networks참고 문헌 10인용 수 5

한 줄 요약

이 논문은 비i.i.d. 노이즈를 가진 행렬변량 정규모형에서 네트워크 추론을 위한 계산적으로 효율적인 EM 알고리즘을 제안한다. 이는 KronGlasso 방법을 일반적인 노이즈 구조를 다룰 수 있도록 확장한 것으로, 알려진 $ R $를 통한 유전적 상관관계 모델링과 학습 가능한 $ D $를 통한 비독립 노이즈 모델링을 통해 i.i.d. 노이즈 가정에 비해 네트워크 복원 정확도를 크게 향상시킨다. 특히 위샤르트 및 AR(1)와 같은 현실적인 노이즈 행렬을 사용한 시뮬레이션에서, 노이즈가 구조를 띠는 경우에 두드러진 성능 향상이 관찰된다.

ABSTRACT

Inferring a graphical model or network from observational data from a large number of variables is a well studied problem in machine learning and computational statistics. In this paper we consider a version of this problem that is relevant to the analysis of multiple phenotypes collected in genetic studies. In such datasets we expect correlations between phenotypes and between individuals. We model observations as a sum of two matrix normal variates such that the joint covariance function is a sum of Kronecker products. This model, which generalizes the Graphical Lasso, assumes observations are correlated due to known genetic relationships and corrupted with non-independent noise. We have developed a computationally efficient EM algorithm to fit this model. On simulated datasets we illustrate substantially improved performance in network reconstruction by allowing for a general noise distribution.

연구 동기 및 목표

• 다양한 형질 유전 데이터에서 독립적이고 동일하게 분포된(i.i.d.) 노이즈를 가정하는 기존 방법의 한계를 해결하기 위해.
• 행렬변량 모형에서 유전적 네트워크(희소 정밀행렬 $ C $)와 노이즈 구조(정밀행렬 $ D $)를 동시에 추정하기 위한 완전한 EM 알고리즘을 개발하기 위해.
• 실제 유전자 데이터셋에서 공변인자나 측정 상관관계로 인해 흔히 발생하는 비i.i.i.d. 노이즈를 모델링함으로써 네트워크 복원 정확도를 향상시키기 위해.
• 크로네커 곱 구조와 선형 대수 최적화를 활용하여 고차원 설정에서도 효율적인 추론을 가능하게 하기 위해.

제안 방법

• 관측된 데이터 행렬 $ Y $ 를 두 개의 행렬변량 정규분포 성분의 합으로 모델링한다: $ Z \thicksim \text{MN}(0, R^{-1}, C^{-1}) $ 와 $ \boldsymbol{\rho} \thicksim \text{MN}(0, I, D^{-1}) $, 여기서 $ R $ 는 알려져 있고 $ C $ 는 희소성을 가진다고 가정한다.
• 조건부 기대값을 계산하는 E단계와 기대로그우도를 $ C $ 와 $ D $ 에 대해 최대화하는 M단계를 번갈아 수행하는 완전한 EM 알고리즘을 개발하며, 일반적인 볼록 펜alties를 사용한다.
• E단계의 계산 복잡도를 $ O(NP^2 + P^3) $ 으로 유지함으로써 중간 크기의 $ N $ 과 $ P $ 에서도 확장 가능성을 확보한다.
• 그래프 라소(L1 페널티)를 사용한 $ \boldsymbol{\rho} $-페널티 추정을 통해 $ C $ 를 추정하며, 필요에 따라 $ \boldsymbol{\rho} $-페널티를 통해 $ D $ 의 희소성도 병행 고려할 수 있다.
• BIC나 샘플 외 우도와 같은 모델 선택 기준을 사용하여 i.i.d. 노이즈 모델과 비i.i.d. 노이즈 모델 간의 선택을 수행한다.
• 낮은 질서 + 희소 분해 형태의 $ C $ 를 다룰 수 있도록 알고리즘을 적응시켜, 공변인자(낮은 질서)와 인과적(희소) 구조를 동시에 모델링할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 비i.i.d. 노이즈를 행렬변량 정규모형에서 모델링할 경우, i.i.d. 노이즈를 가정하는 것에 비해 네트워크 복원 성능이 유의미하게 향상되는가?
• RQ2 위샤르트 및 AR(1)와 같은 현실적인 노이즈 구조 하에서, 제안된 EM 알고리즘이 Glasso 및 KronGlasso와 같은 기존 방법에 비해 성능가능성이 어떻게 높은가?
• RQ3 일반적인 노이즈 정밀행렬 $ D $ 를 允許함으로써 유전 네트워크 추정에서 잘못된 양성 결과(거짓 양성) 감소 정도는 어느 정도인가?
• RQ4 EM 프레임워크를 $ R $, $ C $, $ D $ 를 동시에 학습할 수 있도록 확장할 수 있으며, 이에 따른 계산적·통계적 트레이드오프는 무엇인가?

주요 결과

• 비i.i.d. 노이즈가 존재할 경우, 제안된 EM 알고리즘이 KronGlasso 및 Glasso에 비해 유의미하게 뛰어난 네트워크 복원 성능을 보였다. 특히 위샤르트 또는 AR(1) 분포를 가진 구조적 노이즈에서 두드러진 성능 향상이 관찰되었다.
• 위샤르트 분포 노이즈와 1% 희소 $ C $ 를 가진 시뮬레이션 데이터에서, G3M는 잘못된 양성 결과를 다수 유도하지 않고 대부분의 진짜 엣지를 정확히 복원하였다. 반면 Glasso 및 KronGlasso는 이와 같은 상황에서 잘못된 엣지를 다량 유도하였다.
• G3M의 ROC 곡선은 모든 파wr 레벨에서 뛰어난 성능을 보였으며, 비i.i.d. 노이즈 조건에서 기준 방법 대비 면적 under the curve (AUC) 가 유의미하게 높았다.
• $ D $ 가 실제로 희소한 경우 $ \boldsymbol{\rho} $-페널티를 도입함으로써 성능 향상이 이루어졌으며, 이는 밀도 $ D $ 경우에서 관찰된 부분적 최적화 부족을 대부분 보완하였다.
• 알고리즘의 E단계는 계산 복잡도 $ O(NP^2 + P^3) $ 를 가지며, $ N, P $ 가 수백 수준인 중간 크기의 유전자 데이터셋에 대해서도 적용 가능하다.
• BIC나 샘플 외 우도를 통한 모델 선택은 비i.i.d. 노이즈 모델링이 필요한지 여부를 신뢰성 있게 식별하며, 실무에서 더 유연한 모델 사용을 뒷받침한다.