[논문 리뷰] Efficient Latent Variable Graphical Model Selection via Split Bregman Method

Gui–Bo Ye, Yuanfeng Wang외 2명|arXiv (Cornell University)|2011. 10. 13.

Face and Expression Recognition참고 문헌 21인용 수 4

한 줄 요약

이 논문은 관측된 정밀행렬을 희소(조건부 의존성) 및 저질서(잠재 요인 효과) 성분으로 분해함으로써 잠재변수를 포함한 그래픽 모델 선택 문제를 해결하기 위해 Split Bregman 프레임워크를 활용한 효율적인 1차 최적화 방법을 제안한다. 이 방법은 최신 솔버들보다 훨씬 더 빠른 수렴 속도를 달성하며, 유전자 발현 데이터에서 오직 수십 개의 잠재 요인이 관측된 상관관계의 대부분을 설명함을 보여준다.

ABSTRACT

We consider the problem of covariance matrix estimation in the presence of latent variables. Under suitable conditions, it is possible to learn the marginal covariance matrix of the observed variables via a tractable convex program, where the concentration matrix of the observed variables is decomposed into a sparse matrix (representing the graphical structure of the observed variables) and a low rank matrix (representing the marginalization effect of latent variables). We present an efficient first-order method based on split Bregman to solve the convex problem. The algorithm is guaranteed to converge under mild conditions. We show that our algorithm is significantly faster than the state-of-the-art algorithm on both artificial and real-world data. Applying the algorithm to a gene expression data involving thousands of genes, we show that most of the correlation between observed variables can be explained by only a few dozen latent factors.

연구 동기 및 목표

• 관측된 변수의 일부만 이용 가능한 고차원 설정에서 잠재변수가 밀도 높은 상관관계를 유도하는 공분산 행렬 추정 문제를 해결하기 위해.
• 모면 공분산 행렬을 희소 및 저질서 성분으로 분해하는 볼록 최적화 문제를 해결하기 위한 계산적으로 효율적인 알고리즘 개발을 위해.
• 잠재변수가 존재하는 고차원 점근적 조건 하에서 그래픽 모델 구조의 일致성과 안정성 있는 추정을 가능하게 하기 위해.
• 특히 유전체학 분야에서의 성능 평가를 포함하여 시뮬레이션 및 실제 데이터에 대한 방법의 성능 평가를 위해.

제안 방법

• 잠재변수 그래픽 모델 선택 문제를 로그행렬식, 트레이스, ℓ₁ 및 노르름 펜alties를 포함하는 목표 함수를 가진 볼록 최적화 문제로 공식화한다.
• 문제를 더 쉽게 해결할 수 있는 하위문제로 분해하기 위해 Split Bregman 방법을 활용하여 효율적인 1차 최적화를 가능하게 한다.
• 희소 성분(S), 저질서 성분(L), 이중 변수(B)를 번갈아 업데이트함으로써 온건한 조건 하에서 수렴을 보장한다.
• 정확하거나 근사적인 하위문제 해법을 사용하는 ADMM 프레임워크를 통해 양의 준정부행렬 제약 조건을 처리한다.
• 수렴 속도와 해의 품질을 향상시키기 위해 정규화 매개변수에 대한 계속 전략(continuation strategy)을 사용한다.
• 수치적 문제(예: 희소 행렬 복구에서 부동소수점 오차)를 피하기 위해 확장 가능하고 강건한 설계를 한다.

실험 결과

연구 질문

• RQ1 Split Bregman 기반 1차 방법이 기존 솔버들보다 잠재변수 그래픽 모델 선택 문제에서 더 빠른 수렴을 달성할 수 있는가?
• RQ2 고차원 유전자 발현 데이터에서 소수의 잠재 요인이 관측된 상관관계를 어느 정도 설명할 수 있는가?
• RQ3 표준 희소 가우시안 그래픽 모델에 비해 잠재변수의 포함이 모델 일반화 능력을 얼마나 향상시키는가?
• RQ4 제안된 방법이 고차원 설정에서 수치적 안정성을 유지하고 정확한 희소 해를 생성하는가?

주요 결과

• 제안된 Split Bregman 기반 알고리즘(SBLVGG)은 대규모 문제에서 최신 기술인 LogdetPPA 솔버보다 최소 3배 빠른 속도를 기록한다.
• 1,000개 유전자를 가진 유전자 발현 데이터에서, 잠재변수 모델은 희소 가우시안 그래픽 모델보다 부정의 로그우도(NLoglike) 측면에서 일관되게 뛰어나며, 10회의 실험 평균에서 -2,669.9 대비 -2,526.3을 기록한다.
• p=1,000인 경우 평균적으로 약 50개의 잠재 요인을 예측하여, 관측된 상관관계의 대부분이 오직 수십 개의 숨겨진 변수에 의해 이끌림을 시사한다.
• 관측된 변수 간 직접적인 조건부 의존성을 나타내는 희소 성분(S)은 일반적으로 수십 개의 간선을 가지며, 일부 경우엔 0개일 수 있어 잠재 요인이 상관관계 구조를 지배함을 확인한다.
• LogdetPPA와 달리, 이 방법은 희소 행렬 복구에서 부동소수점 오류를 성공적으로 피함으로써 정확한 희소성 확보에 기여한다.
• 결과는 번역 후 조절이 이전에 생각보다 더 중요한 역할을 하여 유전자 발현 상관관계를 형성하는 데 기여할 수 있다는 가설을 지지한다.