[논문 리뷰] High-Dimensional Joint Estimation of Multiple Directed Gaussian Graphical Models

Yuhao Wang, Santiago Segarra외 1명|arXiv (Cornell University)|2018. 04. 03.

Statistical Methods and Inference참고 문헌 42인용 수 7

한 줄 요약

이 논문은 유사한 데이터셋 간의 공유 구조를 활용하여 고차원 방향 가우시안 그래픽 모델을 동시에 추정하는 프레임워크를 제안한다. 이는 유전자 발현 데이터 등 다양한 조직 간의 변화를 고려한 ℓ₀-벌점 최대우도 추정법을 기반으로 하며, 개별 추정보다 더 빠른 수렴 속도를 달성하고 이론적 일致성 보장을 제공한다. 실용적 구현을 위해 게리티브 동치 검색(Greedy Equivalence Search)과 라소 선택을 조합한 jointGES 알고리즘을 제시한다.

ABSTRACT

We consider the problem of jointly estimating multiple related directed acyclic graph (DAG) models based on high-dimensional data from each graph. This problem is motivated by the task of learning gene regulatory networks based on gene expression data from different tissues, developmental stages or disease states. We prove that under certain regularity conditions, the proposed $\ell_0$-penalized maximum likelihood estimator converges in Frobenius norm to the adjacency matrices consistent with the data-generating distributions and has the correct sparsity. In particular, we show that this joint estimation procedure leads to a faster convergence rate than estimating each DAG model separately. As a corollary, we also obtain high-dimensional consistency results for causal inference from a mix of observational and interventional data. For practical purposes, we propose \emph{jointGES} consisting of Greedy Equivalence Search (GES) to estimate the union of all DAG models followed by variable selection using lasso to obtain the different DAGs, and we analyze its consistency guarantees. The proposed method is illustrated through an analysis of simulated data as well as epithelial ovarian cancer gene expression data.

연구 동기 및 목표

• 고차원 데이터(예: 다양한 조직 간 유전자 발현)에서 관련된 방향성 비순환 그래프(DAG) 모델을 추정하는 데 도전하는 것.
• 독립적으로 각각 추정하는 대신, 관련된 DAG 모델 간의 공유 구조적 특징을 활용하여 추정 정확도와 수렴 속도를 향상시키는 것.
• 고차원 점차적 조건 하에서 연합 추정의 이론적 일치성 보장을 제공하는 것. 이는 프로베니우스 노름에서의 수렴과 정확한 희박성 복원을 포함한다.
• 인터벤션 데이터로의 프레임워크 확장을 위해 인터벤션 BIC 점수 기준이 제안된 연합 ℓ₀-벌점 최대우도 추정 방법의 특수한 경우임을 보여주는 것.
• 스케일이 큰 고차원 DAG 추정을 위해, 게리티브 동치 검색과 라소 기반 변수 선택을 조합한 jointGES 알고리즘을 개발하는 것.

제안 방법

• 관련된 데이터셋 간의 공유 구조적 사전 정보를 활용하여 다수의 DAG 모델을 동시에 추정하는 연합 ℓ₀-벌점 최대우도 추정기(MLE)를 제안한다.
• K개의 관련 데이터셋 간의 우도 항과 간선 집합에 대한 ℓ₀-벌점 항을 조합한 가중치 함수를 도입하여 희박성과 공유 구조를 촉진한다.
• jointGES: 첫 번째 단계에서 게리티브 동치 검색(GES)을 사용해 모든 DAG의 합집합을 추정하고, 두 번째 단계에서 각 데이터셋에 대해 라소 회귀를 적용하여 개별 DAG를 식별하는 이중 단계 알고리즘을 개발한다.
• 유한한 고유값과 희박성 제약 조건 등의 규칙성 조건 하에서 이론적 일치성을 도출하며, 진짜 인접행렬로의 프로베니우스 노름 수렴을 보장한다.
• 추정 오차를 제한하고 일치성을 증명하기 위해 무작위 사건 분해(ℰ₁, ℳ₂, ℳ₃)를 사용하며, 농도 불등식과 고차원 확률 도구를 기반으로 한다.
• 치환 불변 제약 조건을 사용해 연합 추정기의 변환을 수행하고, 추정기의 올바른 그래프 구조를 높은 확률로 복원할 수 있는 조건을 유도한다.

실험 결과

연구 질문

• RQ1 고차원 설정에서 다수의 관련 DAG 모델을 연합 추정하면 개별 추정보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 연합 ℓ₀-벌점 최대우도 추정기의 이론적 조건은 무엇이며, 이는 참 인접행렬과 간선 집합을 일치성 있게 복원하는가?
• RQ3 다양한 조직 또는 질병 상태 간의 관련 데이터셋 간 공유 구조적 정보는 추정 정확도 향상에 어떻게 활용될 수 있는가?
• RQ4 연합 추정 프레임워크는 노크아웃 실험과 같은 인터벤션 데이터를 포함하도록 확장될 수 있으며, 이는 기존의 인터벤션 점수 기준과 어떻게 관련이 있는가?
• RQ5 고차원 DAG 추정에서 다수의 관련 모델에 대해 일관성과 확장성을 확보하는 실용적 알고리즘 접근법은 무엇인가?

주요 결과

• 연합 ℓ₀-벌점 최대우도 추정기는 개별 추정보다 더 빠른 점차적 수렴 속도를 달성하며, 관련 데이터셋의 수가 증가할수록 속도가 향상된다.
• 유한한 고유값과 희박성 조건 등의 규칙성 조건 하에서, 연합 추정기는 높은 확률로 진짜 인접행렬로의 프로베니우스 노름 수렴을 보장한다.
• 해당 방법은 진짜 DAG의 희박성 구조를 정확히 복원하며, 벌점 매개변수를 적절히 조정하면 추정 간선 집합이 진짜 간선 집합과 높은 확률로 일치한다.
• jointGES 알고리즘은 GES를 통해 모든 DAG의 합집합을 먼저 식별하고, 이후 각 데이터셋에 대해 라소 회귀를 적용하여 개별 모델을 정밀 조정함으로써 일관성 있는 추정을 제공한다.
• 기존 연구에서 제안된 인터벤션 BIC 점수 기준은 제안된 연합 ℓ₀-벌점 최대우도 추정 프레임워크의 특수한 경우임을 입증하여 이론적 기반을 강화한다.
• 시뮬레이션 데이터와 난소암 유전자 발현 데이터에 대한 실증 평가 결과, 개별 추정 대비 더 높은 추정 정확도와 강인성을 확인하였다.