[논문 리뷰] High dimensional Sparse Gaussian Graphical Mixture Model

Anani Lotsi, Ernst C. Wit|arXiv (Cornell University)|2013. 08. 15.

Bayesian Methods and Mixture Models참고 문헌 20인용 수 12

한 줄 요약

이 논문은 고차원 정규 그래픽스 혼합 모형에 대해 EM 알고리즘 프레임워크 내에서 정밀도 행렬에 $l_1$ 페널티를 적용하여 고차원 정규 그래픽스 혼합 모형을 위한 페널티 최대우도 추정기( penalized maximum likelihood estimator)를 제안한다. 이 방법은 클러스터 구성원 및 희박한 그래픽스 구조에 대한 일致한 추정을 보장하며, 조정 파ameter가 $ ackslash{}$ lambda_n ackslash{} propto ackslash{} sqrt{n\log p}$ 로 스케일링될 경우 시뮬레이션 및 실제 유전체 데이터에서 그래프 선택과 매개변수 일치도에서 뛰어난 성능을 보인다.

ABSTRACT

This paper considers the problem of networks reconstruction from heterogeneous data using a Gaussian Graphical Mixture Model (GGMM). It is well known that parameter estimation in this context is challenging due to large numbers of variables coupled with the degeneracy of the likelihood. We propose as a solution a penalized maximum likelihood technique by imposing an $l_{1}$ penalty on the precision matrix. Our approach shrinks the parameters thereby resulting in better identifiability and variable selection. We use the Expectation Maximization (EM) algorithm which involves the graphical LASSO to estimate the mixing coefficients and the precision matrices. We show that under certain regularity conditions the Penalized Maximum Likelihood (PML) estimates are consistent. We demonstrate the performance of the PML estimator through simulations and we show the utility of our method for high dimensional data analysis in a genomic application.

연구 동기 및 목표

• 다양한 정규 성분에서 온 관측치들로부터 잠재적인 그래픽스 네트워크를 재구성하는 문제에 대응하기 위해.
• n \ll p 인 고차원 설정에서 각 혼합 성분의 정밀도 행렬에 $l_1$ 정규화를 도입하여 매개변수 식별성과 변수 선택을 향상시키기 위해.
• 정규 조건 하에서 페널티 최대우도 추정기(PMLE)의 이론적 일관성을 확립하기 위해.
• 희박한 정밀도 행렬과 혼합 비율을 추정하기 위해 EM과 그래픽 라소를 결합한 효율적인 계산 알고리즘을 개발하기 위해.
• 시뮬레이션 데이터와 실제 유전체 데이터셋(예: 학생 시험 성적 및 플로우 세포 측정 신호 데이터 포함)에서 방법의 성능을 검증하기 위해.

제안 방법

• K개 성분을 가진 유한한 정규 혼합 모형(GMM)을 설정하며, 각 성분은 희박한 정밀도 행렬을 가진 다변량 정규분포를 따른다고 가정한다.
• 각 성분의 정밀도 행렬에 $l_1$ 페널티를 적용하여 고차원 설정에서 희박성 유도 및 식별성 향상.
• E단계에서는 후행 클러스터 구성원을 계산하고, M단계에서는 그래픽 라소를 사용하여 희박한 정밀도 행렬과 혼합 비율을 추정하는 페널티 EM 알고리즘을 개발한다.
• 그래프 및 매개변수 추정의 일관성을 확보하기 위해 조정 파ameter $\lambda_n$ 을 $ ackslash{}$ sqrt{n\log p}$ 와 비례하도록 설정한다.
• M단계에서 $l_1$ 정규화 하에 희박한 정밀도 행렬을 효율적으로 계산하기 위해 그래픽 라소 알고리즘을 사용한다.
• 성분 수 $K$ 는 사전에 알려져 있다고 가정하며, 이 조건 하에서 추정 및 일관성에 집중한다.

실험 결과

연구 질문

• RQ1 $l_1$ 정규화가 고차원 정규 그래픽스 혼합 모형에서 식별성과 변수 선택에 기여하는가?
• RQ2 그래픽 라소를 통한 EM 기반 페널티 최대우도 추정기(PMLE)가 고차원 점근적 조건 하에서 정밀도 행렬과 혼합 비율에 대해 일관된 추정을 제공하는가?
• RQ3 조정 파ameter $\lambda_n$ 의 선택이 결과 그래픽스 모형의 일관성과 성능에 미치는 영향은 어떠한가?
• RQ4 제안된 방법이 시뮬레이션 및 실제 유전체 데이터에서 진정한 잠재 네트워크 구조를 효과적으로 복원할 수 있는가?
• RQ5 그래프 선택 및 매개변수 추정 정확도 측면에서 $ ackslash{}$ lambda_n ackslash{} propto ackslash{} sqrt{n\log p}$ 와 $ ackslash{}$ lambda_n ackslash{} propto ackslash{} sqrt{\log p}$ 의 상대적 성능은 어떠한가?

주요 결과

• 정규 조건 하에서 $ ackslash{}$ lambda_n ackslash{} propto ackslash{} sqrt{n\log p}$ 인 PMLE는 정밀도 행렬과 혼합 비율에 대해 일관된 추정을 달성한다.
• 시뮬레이션 결과, $ ackslash{}$ lambda_n ackslash{} propto ackslash{} sqrt{n\log p}$ 는 $ ackslash{}$ lambda_n ackslash{} propto ackslash{} sqrt{\log p}$ 보다 더 우수한 그래프 선택 성능을 보이며, F1 스코어가 높고 거짓 양성률이 낮다.
• n=2000일 때, $ ackslash{}$ lambda_n ackslash{} propto ackslash{} sqrt{n\log p}$ 조건 하에서 $\Theta_1$ 의 F1 스코어는 0.5081, $\Theta_2$ 는 0.4150로, 중간에서 양호한 그래프 복원 성능를 나타낸다.
• 오픈북/클로즈드북 시험 데이터에서는 61%의 학생이 한 클러스터에, 39%는 다른 클러스터에 할당되었으며, 각 그룹 내에서 과목 간 상호작용 패턴이 뚜렷하게 다름을 확인하였다.
• 세포 신호 전달 데이터에서는 90%의 세포가 한 성분에 할당되었으며, (pakts473, PIP2) 및 (PKC, PIP2) 와 같은 핵심 상호작용이 양 성분 모두에서 확인되었으나, (pakts473, praf) 및 (PIP2, p44.42) 에서는 차이가 나타났다.
• 이 방법은 의미 있는 생물학적 네트워크 구조를 성공적으로 복원하여 이질적인 하위집단을 포함한 고차원 유전체 데이터 분석에서의 유용성을 입증하였다.