[논문 리뷰] Speeding Up Latent Variable Gaussian Graphical Model Estimation via Nonconvex Optimizations

Pan Xu, Jian Ma외 1명|arXiv (Cornell University)|2017. 02. 28.

Gaussian Processes and Bayesian Inference참고 문헌 29인용 수 10

한 줄 요약

이 논문은 핵심 범수 규제를 대체하기 위해 행렬 분해를 사용하는 비볼록 최적화 방법을 제안하여 잠재변수 가우시안 그래픽 모델(LVGGM) 추정에 적용한다. 이를 통해 하드 스레시홀딩을 통한 교대 경사하강법로 더 빠른 계산을 가능하게 한다. 이 방법은 최적의 통계적 오차 내에서 진짜 희박하고 낮은 질서 성분으로 선형 수렴을 달성하며, 반복 복잡도를 O(d³)에서 O(d²r)로 감소시켜 합성 및 유전자 데이터에서 기존 볼록 이완 방법보다 뚜렷이 뛰어나다.

ABSTRACT

We study the estimation of the latent variable Gaussian graphical model (LVGGM), where the precision matrix is the superposition of a sparse matrix and a low-rank matrix. In order to speed up the estimation of the sparse plus low-rank components, we propose a sparsity constrained maximum likelihood estimator based on matrix factorization, and an efficient alternating gradient descent algorithm with hard thresholding to solve it. Our algorithm is orders of magnitude faster than the convex relaxation based methods for LVGGM. In addition, we prove that our algorithm is guaranteed to linearly converge to the unknown sparse and low-rank components up to the optimal statistical precision. Experiments on both synthetic and genomic data demonstrate the superiority of our algorithm over the state-of-the-art algorithms and corroborate our theory.

연구 동기 및 목표

• 볼록 이완 방법이 매 반복에서 비용이 많이 드는 특이값 분해(SVD)에 의존하기 때문에 LVGGM 추정의 높은 계산 비용을 해결하기 위해.
• 희박성과 낮은 질서 성분을 갖는 정밀도 행렬을 추정하기 위한 기존의 페널라이즈드 볼록 최적화 방법보다 더 빠르고 확장 가능한 대안을 개발하기 위해.
• 잠재변수가 있는 고차원 설정에서 수렴성과 통계적 정확성에 대한 이론적 보장을 확립하기 위해.
• 시간 복잡도를 감소시켜 대규모 유전자 및 고차원 데이터에 대한 LVGGM의 실용적 적용을 가능하게 하기 위해.

제안 방법

• 낮은 질서 성분을 L = ZZ⊤ (Z ∈ ℝ^{d×r})로 재매개변수화한 스파arsity 제약 최대우도 추정기 기반의 스파arsity 제약 최대우도 추정기.
• 특이값 분해를 피하기 위해 핵심 범수 규제를 낮은 질서 행렬 분해로 대체하여 반복 복잡도를 O(d³)에서 O(d²r)로 감소시킴.
• 희박성과 낮은 질서 구조를 유지하기 위해 하드 스레시홀딩을 통한 교대 경사하강 알고리즘 개발.
• 수렴을 보장하기 위해 초기 추정치가 진짜 성분에 충분히 가까워지도록 보장하는 새로운 초기화 절차 개발.
• 핵심 범수 규제의 계산 부담을 피하면서도 통계적 일致성을 유지하기 위해 비볼록 최적화를 활용.
• 이론적 분석을 통해 최적의 통계적 오차 범위 내에서 진짜 성분으로 선형 수렴을 증명함.

실험 결과

연구 질문

• RQ1 비볼록 최적화와 행렬 분해를 통해 볼록 이완 방법에 비해 LVGGM 추정의 계산 시간을 크게 줄일 수 있는가?
• RQ2 적절한 초기화 조건 하에서 제안된 알고리즘이 진짜 희박성 및 낮은 질서 성분으로 선형 수렴을 달성하는가?
• RQ3 제안된 추정기의 통계적 오차율은 무엇이며, LVGGM의 최소최대 최적율과 일치하는가?
• RQ4 SVD 기반 방법이 비현실적인 고차원 유전자 데이터에 대해 알고리즘이 확장 가능한가?
• RQ5 제안된 방법은 합성 및 실제 데이터에서 최첨단 알고리즘과 비교해 성능가능한가?

주요 결과

• 제안된 알고리즘은 최적의 통계적 오차 내에서 진짜 희박성 및 낮은 질서 성분으로 선형 수렴을 달성하며, 수렴 속도는 최소최대 하한선과 일치함.
• 반복 시간 복잡도를 O(d³)에서 O(d²r)로 감소시켜 고차원 문제에 대한 확장성을 확보함.
• 이론적 분석을 통해 추정기의 프로베니우스 노름 오차율이 O_p(√(s* log d / n) + √(r d / n))임을 확인하였으며, 이는 최소최대 최적율과 일치함.
• 합성 데이터 실험에서 제안된 알고리즘이 볼록 이완 방법보다 더 빠르게 수렴하고 더 낮은 추정 오차를 달성함.
• 실제 유방암 유전자 데이터셋에서 제안된 방법은 속도와 정확도 모두 최첨단 방법을 능가하며, 시간 복잡도에서 수개의 지수 차수의 빠른 속도 향상을 보임.
• 초기화 알고리즘이 초기 점들이 진짜 성분에 충분히 가까워지도록 보장하여 수렴 보장을 가능하게 함.