[논문 리뷰] Node-Based Learning of Multiple Gaussian Graphical Models

Karthik Mohan, Palma London외 3명|arXiv (Cornell University)|2013. 03. 21.

Gaussian Processes and Bayesian Inference참고 문헌 3인용 수 112

한 줄 요약

이 논문은 조건 간 네트워크 차이가 변형된 노드 또는 공유 허브 노드에서 기인된다는 가정 하에, 다수의 가우시안 그래픽 모델(GGM)을 학습하기 위한 노드 기반 접근법을 제안한다. 행-열 겹침 노름 페널티와 ADMM 최적화를 사용함으로써, 고차원 GGM의 스케일링 가능하고 구조적인 추정이 가능해지며, 엣지 기반 방법에 비해 생물학적으로 의미 있는 네트워크 변화 탐지에서 뛰어난 성능을 보인다.

ABSTRACT

We consider the problem of estimating high-dimensional Gaussian graphical models corresponding to a single set of variables under several distinct conditions. This problem is motivated by the task of recovering transcriptional regulatory networks on the basis of gene expression data {containing heterogeneous samples, such as different disease states, multiple species, or different developmental stages}. We assume that most aspects of the conditional dependence networks are shared, but that there are some structured differences between them. Rather than assuming that similarities and differences between networks are driven by individual edges, we take a node-based approach, which in many cases provides a more intuitive interpretation of the network differences. We consider estimation under two distinct assumptions: (1) differences between the K networks are due to individual nodes that are perturbed across conditions, or (2) similarities among the K networks are due to the presence of common hub nodes that are shared across all K networks. Using a row-column overlap norm penalty function, we formulate two convex optimization problems that correspond to these two assumptions. We solve these problems using an alternating direction method of multipliers algorithm, and we derive a set of necessary and sufficient conditions that allows us to decompose the problem into independent subproblems so that our algorithm can be scaled to high-dimensional settings. Our proposal is illustrated on synthetic data, a webpage data set, and a brain cancer gene expression data set.

연구 동기 및 목표

• 네트워크가 구조적 유사성을 공유하지만 조건 간에 조건부로 구조화된 차이를 보일 때, 다수의 고차원 가우시안 그래픽 모델을 추정하는 데 도전하는 데 목적을 두며
• 네트워크 차이를 엣지 수준이 아닌 노드 수준에서 모델링하여, 다양한 조건 간에 변형된 노드 또는 허브 노드를 더 해석 가능하게 식별할 수 있도록 하며
• 모든 네트워크 간에 공통 허브 노드를 장려하거나 조건 간 연결 패턴이 변화한 노드를 식별하도록 하는 볼록 최적화 프레임워크를 개발하며
• ADMM를 사용하여 최적화 문제를 독립적인 하位 문제로 분해함으로써 고차원 설정에까지 방법을 확장하며
• 합성 데이터, 웹페이지 데이터, 뇌 종양 연구에서의 유전자 발현 데이터에서 생물학적으로 관련 있는 네트워크 변화 탐지 성능 향상을 입증한다.

제안 방법

• 행-열 겹침 노름 페널티를 사용하여 구조적 희박성을 유도하는 두 개의 볼록 최적화 문제를 제안한다: 하나는 변형된 노드를 탐지하기 위한(PNJGL), 다른 하나는 공통 허브 노드를 식별하기 위한(CNJGL) 것으로서
• 최적화 문제를 해결하기 위해 교대 방향 승수법(ADMM)을 적용하여 분산 및 확장 가능한 계산을 가능하게 하며
• 각 노드별 독립적인 하위문제로 문제를 분해할 수 있는 필요 및 충분 조건을 도출하여 고차원 설정에서의 효율적 계산을 가능하게 하며
• ADMM 알고리즘에서 변수를 갱신하기 위해 소프트 임계처리 및 그룹-소프트 임계처리 연산자를 사용하며, 원시 및 이중 변수에 대한 명시적 갱신 규칙을 유도한다.
• 다수의 정밀도 행렬에 걸쳐 행과 열의 동시 희박성을 페널티로 적용하는 행-열 겹침 노름을 사용하여 네트워크 간 공통 구조를 장려하며
• 노드 수준의 차이 또는 공통성을 포괄하는 새로운 페널티 함수를 도입하여 엣지 기반 접근법보다 더 직관적인 해석 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 기존 엣지 기반 방법에 비해 노드 기반 접근법이 다수의 가우시안 그래픽 모델 추정의 해석 가능성과 정확도를 향상시킬 수 있는가?
• RQ2 구조적 희박성 페널티를 사용하여 다수의 조건 간에 공통 허브 노드를 얼마나 신뢰성 있게 식별할 수 있는가?
• RQ3 제안된 방법은 생물학적 또는 실험적 조건 간에 연결 패턴이 변화한 개별 노드를 얼마나 잘 탐지할 수 있는가?
• RQ4 계산 효율성과 통계적 일致성을 유지하면서 최적화 프레임워크를 고차원 설정에까지 확장할 수 있는가?
• RQ5 실제 데이터, 예를 들어 암에서의 유전자 조절 네트워크에서 생물학적으로 관련 있는 네트워크 변화를 식별하는 데에 방법의 성능은 어떠한가?

주요 결과

• PNJGL 방법은 합성 데이터에서 변형된 노드를 성공적으로 식별하였으며, 추정된 노드 차이 행렬의 열 노름이 변형된 노드와 비변형된 노드를 명확히 분리하는 것으로 나타났다.
• CNJGL 방법은 네트워크 간 공통 허브 노드를 정확하게 탐지하였으며, 모든 조건에서 허브 노드로 기능하는 노드에 대해 추정된 공통 허브 행렬의 열 노름이 높게 나타났다.
• 뇌 종양 유전자 발현 데이터셋에서 제안된 방법은 생물학적으로 타당한 조절 네트워크 변화를 식별하였으며, 알려진 암성 유전자 조절자들이 변형된 노드로 확인되었다.
• 특히 허브 노드와 변형된 노드를 식별하는 데서 엣지 기반 대안들(FGL, GL 등)에 비해 정밀도와 재현율 측면에서 성능이 뛰어나, 네트워크 차이 탐지에서 뛰어난 성능을 보였다.
• ADMM 기반 알고리즘은 효율적으로 수렴하며 고차원 데이터에 대해 효과적으로 확장 가능했으며, 분해 덕분에 각 노드별 독립적인 하위문제 해결이 가능했다.
• 모의 실험에서 튜닝 파rameter 선택에 대해 결과가 강인했으며, 다양한 파rameter 값 범위에서 일관된 변형된 노드 및 허브 노드 탐지가 이루어졌다.