[논문 리뷰] Graphical Lasso and Thresholding: Equivalence and Closed-form Solutions

Salar Fattahi, Somayeh Sojoudi|arXiv (Cornell University)|2017. 08. 30.

Statistical Methods and Inference참고 문헌 39인용 수 11

한 줄 요약

이 논문은 계산 비용이 큰 그래픽스 라소(GL)가 표본 공분산 행렬의 단순 임계처리와 동일한 조건을 규명함으로써, 임계처리된 행렬이 비순환 구조를 가질 경우 닫힌 형태의 해를 도출할 수 있음을 보여준다. 또한 일반적인 희박 그래프에 대해 명시적이고 빠른 근사법을 제공하며, 근사 오차는 사이클 길이에 따라 지수적으로 감소하여 표준 랩탑에서 80,000×80,000 행렬에 대해 30분 이내에 거의 최적의 성능을 달성한다.

ABSTRACT

Graphical Lasso (GL) is a popular method for learning the structure of an undirected graphical model, which is based on an $l_1$ regularization technique. The objective of this paper is to compare the computationally-heavy GL technique with a numerically-cheap heuristic method that is based on simply thresholding the sample covariance matrix. To this end, two notions of sign-consistent and inverse-consistent matrices are developed, and then it is shown that the thresholding and GL methods are equivalent if: (i) the thresholded sample covariance matrix is both sign-consistent and inverse-consistent, and (ii) the gap between the largest thresholded and the smallest un-thresholded entries of the sample covariance matrix is not too small. By building upon this result, it is proved that the GL method---as a conic optimization problem---has an explicit closed-form solution if the thresholded sample covariance matrix has an acyclic structure. This result is then generalized to arbitrary sparse support graphs, where a formula is found to obtain an approximate solution of GL. Furthermore, it is shown that the approximation error of the derived explicit formula decreases exponentially fast with respect to the length of the minimum-length cycle of the sparsity graph. The developed results are demonstrated on synthetic data, functional MRI data, traffic flows for transportation networks, and massive randomly generated data sets. We show that the proposed method can obtain an accurate approximation of the GL for instances with the sizes as large as $80,000 imes 80,000$ (more than 3.2 billion variables) in less than 30 minutes on a standard laptop computer running MATLAB, while other state-of-the-art methods do not converge within 4 hours.

연구 동기 및 목표

• 그래픽스 라소(GL) 해가 표본 공분산 행렬의 임계처리와 동일한 조건을 규명하여 고비용 최적화를 피하기.
• 희박성 패턴이 비순환일 경우 GL에 대한 닫힌 형태의 해를 도출하여 정확하고 빠른 계산을 가능하게 하기.
• 희박성 패턴이 임의의 그래프일 경우, 정량화된 근사 오차를 갖는 명시적 공식을 사용해 이 해를 일반화하기.
• 대규모 합성 데이터, fMRI, 교통, 무작위 데이터 세트에서 이 방법의 확장성과 정확성을 입증하기.
• GL의 해가 아닌 표본 공분산 행렬에 기반한 검증 가능하고 데이터 기반의 조건(부호 일致성, 역행렬 일치성, 갭 조건)을 제공하기.

제안 방법

• GL과 임계처리의 등가성을 특징짓기 위해 두 가지 새로운 행렬 성질인 부호 일치성과 역행렬 일치성을 도입.
• 임계처리된 표본 공분산 행렬이 부호 일치성과 역행렬 일치성을 모두 만족하고, 임계처리된 항목과 미임계처리된 항목 간에 충분한 갭이 있을 경우, GL과 임계처리가 동일하다는 것을 증명.
• 임계처리된 행렬의 지지 그래프가 비순환일 경우, 행렬 완성과 역행렬 구조 분석을 통해 GL에 대한 닫힌 형태의 해를 유도.
• 희박 그래프에 대한 닫힌 형태의 해를 일반화하기 위해 근사 오차를 희박성 그래프 내 최소 사이클 길이의 함수로 모델링.
• 상호 비일관성 파라미터와 하위가우시안 尾 꼬리 경계를 사용하여 희박성 촉진을 위한 정규화 파라미터에 대한 이론적 경계 유도.
• 대규모 데이터 세트에서 이 방법을 구현하고 벤치마크를 수행하여 최신 GL 솔버들과 정확도(Frobenius 노름, TPR, FPR)와 실행 시간을 비교.

실험 결과

연구 질문

• RQ1 그래픽스 라소 해가 표본 공분산 행렬의 임계처리와 동일한 조건은 무엇인가?
• RQ2 희박성 패턴이 비순환일 경우 그래픽스 라소에 대한 닫힌 형태의 해를 도출할 수 있는가?
• RQ3 닫힌 형태의 해를 정량화된 근사 오차를 갖는 임의의 희박 그래프로 일반화할 수 있는가?
• RQ4 희박성 그래프의 구조(예: 사이클 길이)와 근사 정확도 사이의 관계는 무엇인가?
• RQ5 기존 GL 솔버들과 비교해 대규모 문제(예: 80,000×80,000)에서 제안된 방법의 실행 시간과 정확도는 어떻게 확장되는가?

주요 결과

• GL과 임계처리 방법이 동일한 조건은 임계처리된 표본 공분산 행렬이 부호 일치성과 역행렬 일치성을 모두 만족하고, 가장 큰 임계처리된 항목과 가장 작은 미임계처리된 항목 간의 갭이 충분히 클 경우이다.
• 임계처리된 행렬의 지지 그래프가 비순환일 경우, 양의 정부호 완성과 행렬 역행렬 구조 분석을 통해 GL에 대한 닫힌 형태의 해가 존재한다.
• 일반적인 희박 그래프의 경우, 제안된 명시적 공식은 근사 GL 해를 제공하며, 이의 오차는 희박성 그래프 내 최단 사이클 길이에 따라 지수적으로 감소한다.
• 80,000×80,000 행렬에서 이 방법은 표준 랩탑에서 30분 이내에 정확한 근사를 계산할 수 있었고, 최신 기술의 솔버들은 4시간 이내에 수렴하지 못했다.
• 대규모 인스턴스에서 이 방법은 높은 재현율(TPR ≈ 1.0)과 0%의 가짜 양성률(FPR = 0.0)을 달성하였으며, 80,000×80,000 문제에서 Frobenius 노름 오차는 0.28 이하였다.
• 이론적 정규화 파라미터 λ₀는 시뮬레이션에서 사용된 값보다 크게 작아, λ₀가 희박성을 달성하기 위해 보수적으로 과소 추정된다는 것이 밝혀졌다.