[논문 리뷰] Exact covariance thresholding into connected components for large-scale Graphical Lasso

Rahul Mazumder, Trevor Hastie|arXiv (Cornell University)|2011. 08. 18.

Statistical Methods and Inference참고 문헌 21인용 수 122

한 줄 요약

이 논문은 정규화 파rameter λ에서 표본 공분산 행렬을 임계값 처리하여 대규모 정밀도 행렬 추정을 분해함으로써 계산적으로 효율적인 스크리닝 규칙을 제안한다. 이는 임계값 처리된 표본 공분산 그래프의 연결된 성분이 추정된 정밀도 그래프의 것과 정확히 일치함을 증명하며, 이는 블록 단위 최적화를 통해 정확하고 확장 가능한 해를 가능하게 하여 고차원 데이터에서 높은 성능 향상을 이룬다.

ABSTRACT

We consider the sparse inverse covariance regularization problem or graphical lasso with regularization parameter $ρ$. Suppose the co- variance graph formed by thresholding the entries of the sample covariance matrix at $ρ$ is decomposed into connected components. We show that the vertex-partition induced by the thresholded covariance graph is exactly equal to that induced by the estimated concentration graph. This simple rule, when used as a wrapper around existing algorithms, leads to enormous performance gains. For large values of $ρ$, our proposal splits a large graphical lasso problem into smaller tractable problems, making it possible to solve an otherwise infeasible large scale graphical lasso problem.

연구 동기 및 목표

• 고차원성으로 인한 대규모 그래픽스 라소 문제 해결의 계산 불가능성 문제를 다루기.
• 전체 문제를 풀지 않아도 되는 알고리즘 최적화를 가능하게 하는 그래픽스 라소 해의 구조적 성질을 규명하기.
• 표본 공분산 행렬에 기반한 스크리닝 규칙을 개발하여 문제를 더 작은 독립적인 하위문제로 분할하기.
• 희소성과 성분별 분해를 활용하여 대규모 그래픽스 라소 문제의 정확하고 효율적인 해를 도출하기.
• 임계값 처리된 표본 공분산 그래프의 연결된 성분과 추정된 정밀도 그래프 간의 동치성에 대한 이론적 근거를 제공하기.

제안 방법

• 표본 공분산 행렬 S의 원소들을 λ에서 임계값 처리하여 0-1 인접 행렬을 형성하고, 이를 그래프 G^(λ)로 표현하기.
• G^(λ)의 연결된 성분을 계산하여 변수들의 정점 분할을 유도하기.
• 이 정점 분할이 그래픽스 라소로 얻은 추정 정밀도 그래프 Θ^(λ)의 연결된 성분과 정확히 일치함을 증명하기.
• 이 연결된 성분을 블록 대각 행렬 구조로 활용하여 원래의 그래픽스 라소 문제를 더 작은 독립적인 하위문제로 분해하기.
• 각 하위문제를 개별적으로 표준 그래픽스 라소 알고리즘을 사용하여 축소된 차원의 블록에서 풀기.
• 동치성을 활용하여 전체 문제를 풀지 않고도 근사나 히وري스틱에 의존하지 않고도 상당한 계산 속도 향상을 달성하기.

실험 결과

연구 질문

• RQ1 임계값 처리된 표본 공분산 행렬의 연결된 성분은 그래픽스 라소 해의 희소성 패턴을 예측할 수 있는가?
• RQ2 임계값 처리된 표본 공분산 그래프의 연결된 성분이 유도하는 정점 분할은 추정된 정밀도 그래프와 정확히 일치하는가?
• RQ3 이 구조적 동치성은 대규모 그래픽스 라소 문제를 더 작은 독립적인 하위문제로 분해하는 데 사용될 수 있는가?
• RQ4 실제 적용에서 이 스크리닝 규칙을 사용할 경우 계산 및 확장성 측면에서 어떤 이점이 있는가?
• RQ5 정규화 파rameter λ의 다양한 값에 대해 이 동치성은 어떻게 유지되는가?

주요 결과

• 정리 1에 의해 증명된 lin, 임계값 처리된 표본 공분산 그래프 G^(λ)의 연결된 성분은 추정된 정밀도 그래프 Θ^(λ)의 것과 정확히 일치한다.
• G^(λ)의 연결된 성분이 유도하는 정점 분할은 해 Θ^(λ)의 것과 정확히 일치하므로, 변수가 잘못 묶이거나 분리되는 일이 없다.
• 이 동치성 덕분에 원래의 그래픽스 라소 문제는 k(λ)개의 독립적인 하위문제로 분해될 수 있으며, 각 하위문제는 하나의 연결된 성분에 대응한다.
• 이 방법은 더 작은 블록 대각 하위문제를 풀음으로써 대규모 그래픽스 라소 문제의 정확한 해를 도출할 수 있게 하여 상당한 계산 성능 향상을 이룬다.
• 스크리닝 규칙은 근사나 히وري스틱에 의존하지 않으며 정확하므로 해의 통계적 정확성을 유지한다.
• 합성 데이터 및 마이크로어레이 데이터에 대한 실험 결과는 유연한 확장성을 보이며, 문제 크기와 희소성 증가에 따라 성능 향상이 더욱 두드러진다.