[논문 리뷰] Sparse Inverse Covariance Matrix Estimation Using Quadratic Approximation

Cho‐Jui Hsieh, Mátyás A. Sustik외 2명|arXiv (Cornell University)|2013. 06. 13.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 280

한 줄 요약

이 논문은 이차 근사와 좌표 강하를 이용한 슈퍼라인어 컨버전스(second-order) 알고리즘인 QUIC을 제안한다. 이 알고리즘은 희소 역공분산행렬 추정에 대해 초래한다. 문제의 구조를 활용하고 동적 자유/고정 변수 선택 전략을 적용함으로써, 특히 고차원, 희소 문제에서 일阶 방법보다 더 빠른 수렴 속도를 달성한다.

ABSTRACT

The L1-regularized Gaussian maximum likelihood estimator (MLE) has been shown to have strong statistical guarantees in recovering a sparse inverse covariance matrix, or alternatively the underlying graph structure of a Gaussian Markov Random Field, from very limited samples. We propose a novel algorithm for solving the resulting optimization problem which is a regularized log-determinant program. In contrast to recent state-of-the-art methods that largely use first order gradient information, our algorithm is based on Newton's method and employs a quadratic approximation, but with some modifications that leverage the structure of the sparse Gaussian MLE problem. We show that our method is superlinearly convergent, and present experimental results using synthetic and real-world application data that demonstrate the considerable improvements in performance of our method when compared to other state-of-the-art methods.

연구 동기 및 목표

• p \gg n 인 고차원 환경에서 희소 역공분산행렬을 추정하는 데 도전한다.
• 가우시안 그래픽 모델의 대규모 로그행렬식 프로그램에서 일阶 방법의 느린 수렴 문제를 해결한다.
• 초기 수렴 속도를 확보하면서도 계산 효율성을 유지하는 두 번째 차수 최적화 방법을 개발한다.
• 해결책의 구조적 희소성(structural sparsity)을 활용하여 행렬 분해를 명시적으로 수행하지 않더라도 수렴 속도를 가속화한다.
• Armijo 규칙 기반 선형 탐색과 헤시안 행렬 근사치를 통해 양의 정부호성과 충분한 내림값을 보장한다.

제안 방법

• 음의 로그우도의 이차 근사를 이용해 $ \ell_1 $-정규화된 가우시안 최대우도추정을 로그행렬식 프로그램으로 재구성한다.
• 강력한 볼록성과 수렴성을 보장하는 헤시안 근사치를 사용한 뉴턴 방법을 적용하여 양의 정부호 해로 수렴한다.
• 좌표 강하를 통해 뉴턴 방향을 계산하며, 중간 계산 결과를 캐싱함으로써 각 업데이트의 복잡도를 $ O(p) $ 수준으로 최적화한다.
• 최적성 조건을 기반으로 자유/업데이트 대상 변수 집합과 고정된 변수 집합을 동적으로 유지한다.
• 충분한 감소와 반복값의 양의 정부호성을 보장하기 위해 Armijo 규칙을 적용한 선형 탐색을 수행한다.
• 임계값 처리된 표본 공분산행렬의 블록 대각 구조를 자유/고정 집합 선택 전략을 통해 암묵적으로 활용하여 명시적 분해를 피한다.

실험 결과

연구 질문

• RQ1 고차원 제약 조건 하에서 두 번째 차수 방법이 희소 역공분산행렬 추정에서 슈퍼라인어 수렴을 달성할 수 있는가?
• RQ2 대규모 로그행렬식 문제에서 $ O(p^3) $ 비용을 유발하지 않으면서도 헤시안 기반 업데이트를 효율적으로 계산할 수 있는가?
• RQ3 동적 변수 선택(자유/고정 집합)이 해의 구조적 희소성(structural sparsity)을 얼마나 잘 활용하여 수렴 속도를 가속화할 수 있는가?
• RQ4 진짜 역공분산행렬이 희소하거나 블록 대각 구조를 띠는 경우, 일阶 방법 대비 알고리즘이 어떻게 성능을 발휘하는가?
• RQ5 이차 근사에서 양의 정부호 콘의 명시적 강제 조건 없이도 수렴 보장과 양의 정부호성을 유지할 수 있는가?

주요 결과

• QUIC는 슈퍼라인어 수렴을 달성하며, 반복 횟수와 실행 시간 측면에서 좌표 강하와 프록시멀 기울기 방법과 같은 일阶 방법보다 뚜렷이 뛰어나다.
• Hereditarybc 데이터셋에서, 자유 집합의 크기가 단 한 번의 반복 동안 340만 개 이상에서 12만 개 이하로 감소하여 빠른 희소성 활용 능력을 입증했다.
• 해결책이 희소한 경우 $ \lambda $ 가 큰 경우, QUIC는 내부점 방법(IPM)과 프록시멀 기울기 방법(PSM)보다 더 빠르게 수렴하며, 특히 고차원 데이터에서 유의미한 성능 향상을 보였다.
• 임계값 처리된 공분산행렬이 블록 대각 구조를 띠는 경우, QUIC는 자동으로 이러한 구조를 식별하고 활용하여 분해를 명시적으로 수행하지 않더라도 효율성을 유지한다.
• 블록 대각 구조를 가진 시뮬레이션 실험에서, 연결된 컴ponent 수가 감소함에 따라도 QUIC는 효율성을 유지했고, glasso는 구조적 특성을 활용하지 못해 성능이 급격히 악화되었다.
• $ \lambda = 0.011 $ 인 경우, 해가 밀집되어 있고 분해가 불가능한 상황에서도 QUIC는 희소한 비대각 원소를 고정함으로써 업데이트에 참여하는 활성 변수의 수를 줄여 glasso를 능가하는 성능을 보였다.