[논문 리뷰] Alternating Direction Methods for Latent Variable Gaussian Graphical Model Selection

Shiqian Ma, Lingzhou Xue외 1명|arXiv (Cornell University)|2012. 06. 06.

Sparse and Compressive Sensing Techniques참고 문헌 46인용 수 6

한 줄 요약

이 논문은 고차원 데이터에서 희소성과 낮은 질서를 가진 역공분산행렬을 추정하는 잠재변수를 가진 가우스 그래픽 모델 선택을 위해 고전적 ADMM과 보조 기울기 기반 ADMM을 제안한다. 두 방법 모두 전역 수렴성을 확보하며, 최신의 뉴턴-CG 보조점수 알고리즘보다 최대 35배 빠르게 작동하여 백만 개 변수를 가진 문제를 2분 이내에 해결한다.

ABSTRACT

Chandrasekaran, Parrilo and Willsky (2010) proposed a convex optimization problem to characterize graphical model selection in the presence of unobserved variables. This convex optimization problem aims to estimate an inverse covariance matrix that can be decomposed into a sparse matrix minus a low-rank matrix from sample data. Solving this convex optimization problem is very challenging, especially for large problems. In this paper, we propose two alternating direction methods for solving this problem. The first method is to apply the classical alternating direction method of multipliers to solve the problem as a consensus problem. The second method is a proximal gradient based alternating direction method of multipliers. Our methods exploit and take advantage of the special structure of the problem and thus can solve large problems very efficiently. Global convergence result is established for the proposed methods. Numerical results on both synthetic data and gene expression data show that our methods usually solve problems with one million variables in one to two minutes, and are usually five to thirty five times faster than a state-of-the-art Newton-CG proximal point algorithm.

연구 동기 및 목표

• 관측된 데이터에 영향을 주는 관측되지 않은(잠재적) 변수가 존재할 때 고차원 그래픽 모델 선택 문제에 대응하기 위해.
• 표본 데이터로부터 희소성과 낮은 질서를 가진 역공분산행렬을 추정하는 볼록 최적화 문제를 해결하기 위한 효율적이고 확장 가능한 최적화 알고리즘을 개발하기 위해.
• 제안된 교차 방향 방법에 대해 전역 수렴 보장을 수립하기 위해.
• 계산 속도와 확장성 면에서 기존 최신 기술인 뉴턴-CG 보조점수 방법보다 뛰어나도록 하기 위해.
• 합성 데이터와 실제 유전자 발현 데이터 세트에 대한 방법의 효과성을 입증하기 위해.

제안 방법

• 잠재변수 그래픽 모델 선택 문제를 볼록 최적화 문제로 공식화한다: S = A − L 인 조건 하에 ⟨S, Σ̂⟩ − log det S + ρ‖S‖₁ 를 최소화하라. 여기서 A는 희소성, L은 낮은 질서를 가진다.
• 변수 A와 L로 분할하여 공통 문제로 간주하여 고전적 교차 방향 승수법(ADMM)을 적용한다.
• ℓ₁ 수축을 업데이트 단계에 직접 통합하여 희소성을 유지하는 보조 기울기 기반 ADMM(PGADM)를 개발한다.
• ℓ₁ 정규화를 위한 보조 연산자를 사용하여 해 행렬 S에 희소성을 강제로 부여하며, 많은 원소가 정확히 0이 되도록 보장한다.
• A, L 및 이중 변수에 대해 교차 업데이트를 구현하며, 부분 문제에 대해 정확하거나 닫힌 형태의 해를 제공한다.
• 표준 가정 하에 문제의 구조와 볼록 최적화 이론을 활용하여 두 방법 모두 전역 수렴성을 입증한다.

실험 결과

연구 질문

• RQ1 고차원 데이터에서 잠재변수를 가진 가우스 그래픽 모델 선택 문제에 대해 교차 방향 방법을 효과적으로 적용할 수 있는가?
• RQ2 제안된 ADMM 및 PGADM 방법은 기존 최신 기술인 뉴턴-CG 보조점수 방법과 비교해 계산 효율성과 수렴 속도 면에서 어떻게 성능을 내는가?
• RQ3 제안된 방법이 해 행렬의 희소성 정도를 어느 정도 유지하는가? 이는 추정된 그래픽 모델의 품질과 해석 가능성에 어떤 영향을 미치는가?
• RQ4 백만 개의 변수를 가진 대규모 문제에 대해 전역 수렴성과 해의 정확성을 유지하면서도 확장 가능한가?
• RQ5 실제 생물학적 데이터, 예를 들어 수천 개의 변수를 가진 유전자 발현 데이터 세트에서 방법의 성능은 어떠한가?

주요 결과

• 제안된 PGADM 방법은 백만 개 변수를 가진 문제를 1~2분 내에 해결하여 최신 기술인 뉴턴-CG 보조점수 알고리즘을 크게 능가한다.
• 합성 데이터에서 PGADM는 LogdetPPA 대비 5배에서 35배 빠르며, p=1000일 경우 최대 35.4배의 속도 향상을 기록한다.
• 로세타 유전자 발현 데이터 세트(p=2000)에서 PGADM는 LogdetPPA 대비 10.9배 빠르게 작동하여 실행 시간을 1시간 16분에서 7분으로 단축시켰다.
• 아이콘릭스 데이터 세트(p=2000)에서 PGADM는 17.9배 빠른 성능을 보였으며, 실행 시간을 3시간 40분에서 12분으로 단축시켰다.
• PGADM는 ℓ₁ 수축 덕분에 항상 많은 원소가 정확히 0인 희소 해를 생성하는 반면, LogdetPPA는 밀도 행렬을 생성하여 희소성 확보를 위해 잘라내기 전처리가 필요하다.
• PGADM의 목적 함수 값은 LogdetPPA와 유사하거나 더 우수하여, 뛰어난 속도와 함께 높은 해 품질을 동시에 확보함을 시사한다.