[논문 리뷰] Large-Scale Sparse Inverse Covariance Estimation via Thresholding and Max-Det Matrix Completion

Richard Y. Zhang, Salar Fattahi외 1명|arXiv (Cornell University)|2018. 02. 13.

Sparse and Compressive Sensing Techniques인용 수 11

한 줄 요약

이 논문은 소프트-스레시딩된 표본 공분산 행렬과 최대 결정성 행렬 완성(MDMC)을 위한 뉴턴-CG 알고리즘을 조합하여 대규모 희소 역공분산 추정에 대해 확장 가능한 방법을 제안한다. 온건한 가정 하에 이 방법은 그래픽스 라소 및 제한된 그래픽스 라소(RGL) 해를 O(n log(1/ε)) 시간과 O(n) 메모리로 복원하며, 표준 랩탑에서 200,000개 변수를 가진 문제를 한 시간 이내에 해결한다.

ABSTRACT

The sparse inverse covariance estimation problem is commonly solved using an $\\ell_{1}$-regularized Gaussian maximum likelihood estimator known as "graphical lasso", but its computational cost becomes prohibitive for large data sets. A recent line of results showed--under mild assumptions--that the graphical lasso estimator can be retrieved by soft-thresholding the sample covariance matrix and solving a maximum determinant matrix completion (MDMC) problem. This paper proves an extension of this result, and describes a Newton-CG algorithm to efficiently solve the MDMC problem. Assuming that the thresholded sample covariance matrix is sparse with a sparse Cholesky factorization, we prove that the algorithm converges to an $\\epsilon$-accurate solution in $O(n\\log(1/\\epsilon))$ time and $O(n)$ memory. The algorithm is highly efficient in practice: we solve the associated MDMC problems with as many as 200,000 variables to 7-9 digits of accuracy in less than an hour on a standard laptop computer running MATLAB.

연구 동기 및 목표

• n > 10^4 개 변수를 가진 대규모 데이터셋에 대해 그래픽스 라소의 계산 불가능성을 해결한다.
• 고차원 희소 역공분산 추정을 위한 최신 솔버인 QUIC와 GLASSO에 대한 실용적이고 효율적인 대안을 개발한다.
• 온건한 가정 하에 소프트-스레시딩된 표본 공분산 행렬에 이어 최대 결정성 행렬 완성(MDMC)을 수행하면 그래픽스 라소 및 제한된 그래픽스 라소(RGL) 해를 복원할 수 있음을 증명한다.
• 희소하고 체로달 구조를 가진 임계값 행렬을 가정할 때, MDMC 문제를 선형 시간 및 선형 메모리 복잡도로 해결할 수 있도록 뉴턴-CG 알고리즘을 설계한다.
• SuiteSparse 컬렉션에서의 합성 및 실세계 그래프를 대상으로 본 방법의 확장성과 정확성을 시험한다. 문제는 최대 200,000개 변수를 포함한다.

제안 방법

• 표본 공분산 행렬 C에 소프트-스레시딩을 적용하여 C_λ를 도출한다. 이는 온건한 가정 하에 역공분산 추정기의 희소성 패턴을 복원한다.
• 사전 지식 또는 스레시딩을 통해 얻은 알려진 희소성 패턴 G를 최대 결정성 행렬 완성(MDMC) 문제의 제약 조건으로 적용한다: X ≻ 0 이며 (i,j) ∉ G 이면 X_{i,j} = 0 인 조건 하에 tr(C_λ X) - log det X 를 최소화한다.
• 희소 체로달 분해와 조합된 원-대안 뉴턴-CG 알고리즘을 사용하여 MDMC 문제를 해결한다. 이는 희소성과 체로달 구조를 활용하여 O(n) 메모리 및 O(n log(1/ε)) 시간 복잡도를 달성한다.
• 희소성 그래프의 체로달 구조를 활용하여 뉴턴 스텝을 효율적으로 계산한다. 이는 희소 체로달 분해와 공액 기울기 해법을 통해 이루어진다.
• 전역 수렴을 보장하면서도 초선형 수렴 속도를 유지하기 위해 선 탐색 백트래킹 전략을 사용한다.
• 임계값 설정과 MDMC 파ip라인을 통합한 전체 워크플로우를 설계한다: C를 임계값 처리하여 C_λ를 얻고, 희소성 패턴 G를 추출한 후 MDMC를 풀어 최종 역공분산 추정기를 복원한다.

실험 결과

연구 질문

• RQ1 온건한 가정 하에 표본 공분산 행렬에 소프트-스레시딩을 적용한 후 최대 결정성 행렬 완성(MDMC)을 수행하면 그래픽스 라소 및 제한된 그래픽스 라소(RGL) 해를 복원할 수 있는가?
• RQ2 임계값 처리된 행렬이 희소하고 체로달일 경우, MDMC 문제의 계산 복잡도는 어떻게 되며, 선형 시간 및 선형 메모리로 해결될 수 있는가?
• RQ3 제안된 임계값-MDMC 파이프라인은 대규모 실세계 및 합성 그래프에서 최신 솔버인 QUIC와 GLASSO에 비해 속도와 정확성 측면에서 어떻게 비교되는가?
• RQ4 제한된 표본 수를 가진 고차원 설정에서 진짜 역공분산 행렬의 희소성 패턴과 수치 정확성을 얼마나 잘 유지하는가?
• RQ5 표준 랩탑에서 200,000개 변수를 가진 문제에 대해 7~9자리 정밀도를 유지하면서 한 시간 이내에 해결할 수 있는가?

주요 결과

• 제안된 임계값-MDMC 파이프라인은 상대적 목표 함수 차이 ≤ 4×10⁻⁴로 그래픽스 라소 및 RGL 해를 복원하여 이론적 보장을 확인한다.
• 희소하고 체로달 구조를 가진 임계값 처리된 행렬을 가정할 때, MDMC를 위한 뉴턴-CG 알고리즘은 O(n log(1/ε)) 시간과 O(n) 메모리로 ε 정밀도 해에 수렴한다.
• SuiteSparse 컬렉션의 실세계 그래프에서, 본 방법은 최대 201,062개 변수를 가진 문제를 한 시간 이내에 해결했으며, 가장 큰 인스턴스에서 QUIC는 3시간 이내에 수렴하지 못했다.
• 실제 시간 복잡도는 RGL의 경우 O(n¹.⁶⁴), 그래픽스 라소의 경우 O(n¹.⁵⁵)였고, 이는 각각 QUIC의 O(n².⁴⁶) 및 O(n².⁵²)보다 현저히 낮았다.
• n ≤ 1.5×10⁴ 인 문제에서 QUIC 대비 평균 11배의 속도 향상을 달성했으며, QUIC가 실패한 가장 큰 문제(n ≈ 2×10⁵)도 성공적으로 해결했다.
• 모든 테스트 케이스에서 실행 가능성 갭은 < 10⁻¹⁶, 이중성 갭은 < 10⁻⁸로 나타나 높은 수치 정확성과 강건성을 보였다.