[논문 리뷰] Does the 𝓁 1 -norm Learn a Sparse Graph under Laplacian Constrained Graphical Models?

Jiaxi Ying, José Vinícius de Miranda Cardoso외 1명|arXiv (Cornell University)|2020. 06. 26.

Sparse and Compressive Sensing Techniques참고 문헌 70인용 수 4

한 줄 요약

이 논문은 라플라시안 구조 제약을 가진 가우시안 그래픽 모델에서 ℓ₁-노름 정규화의 효과성을 도전하며, 정규화를 증가시킬수록 오히려 더 높은 밀도의 그래프로 이어지는 역설적인 현상을 입증한다. 이를 해결하기 위해, 선형 수렴성을 보장하는 사영 그래디언트 하강법을 사용하는 비볼록이고 가중 ℓ₁-정규화된 추정기의 제안을 통해 최소자승 최적의 통계적 오차를 달성하고, 시뮬레이션 및 실제 데이터에서 기존 방법을 능가한다.

ABSTRACT

We consider the problem of learning a sparse graph under Laplacian constrained Gaussian graphical models. This problem can be formulated as a penalized maximum likelihood estimation of the precision matrix under Laplacian structural constraints. Like in the classical graphical lasso problem, recent works made use of the $\ell_1$-norm regularization with the goal of promoting sparsity in Laplacian structural precision matrix estimation. However, we find that the widely used $\ell_1$-norm is not effective in imposing a sparse solution in this problem. Through empirical evidence, we observe that the number of nonzero graph weights grows with the increase of the regularization parameter. From a theoretical perspective, we prove that a large regularization parameter will surprisingly lead to a fully connected graph. To address this issue, we propose a nonconvex estimation method by solving a sequence of weighted $\ell_1$-norm penalized sub-problems and prove that the statistical error of the proposed estimator matches the minimax lower bound. To solve each sub-problem, we develop a projected gradient descent algorithm that enjoys a linear convergence rate. Numerical experiments involving synthetic and real-world data sets from the recent COVID-19 pandemic and financial stock markets demonstrate the effectiveness of the proposed method. An open source $\mathsf{R}$ package containing the code for all the experiments is available at this https URL.

연구 동기 및 목표

• 라플라시안 구조 제약을 가진 그래픽 모델에서 ℓ₁-노름 정규화의 한계를 조사한다.
• 정규화를 증가시킬수록 더 높은 밀도의 그래프로 이어지는 역설적인 현상을 해결한다.
• 희소 그래프 학습에서 최소자승 최적의 추정 오차를 달성하는 비볼록 최적화 프레임워크를 개발한다.
• 비볼록 하위 문제를 해결하기 위한 선형 수렴성을 갖는 효율적인 알고리즘을 설계한다.
• 시뮬레이션 데이터와 실제 응용(코로나19 및 금융 주식 시장 네트워크 포함)에서 방법을 검증한다.

제안 방법

• 희소성을 촉진하기 위해 가중 ℓ₁-노름 정규화를 적용한 서브 문제의 시퀀스를 사용하는 비볼록 최적화 프레임워크를 제안한다.
• 라플라시안 구조를 강제로 유지하며 선형 수렴성을 보장하는 사영 그래디언트 하강 알고리즘을 개발한다.
• 정밀도 행렬에 구조적 제약을 부여하여 유효한 그래프 라플라시안에 대응하도록 한다.
• 진짜 희소성 패턴을 더 잘 근사하기 위해 ℓ₁-정규화에 적응형 가중치를 사용한다.
• 사영 그래디언트 기반 수렴 보장을 갖는 반복적으로 각 하위 문제를 해결한다.
• 감소하는 정규화 수준을 거쳐 해를 정밀화하기 위한 계속 전략을 사용한다.

실험 결과

연구 질문

• RQ1 라플라시안 구조 제약을 가진 그래픽 모델에서 ℓ₁-정규화가 희소성을 효과적으로 유도하는가?
• RQ2 이 제약 조건 하에서 ℓ₁ 정규화를 증가시킬수록 더 높은 밀도의 그래프로 이어지는 이유는 무엇인가?
• RQ3 ℓ₁-정규화의 비볼록 완화가 더 나은 희소성과 통계적 성능을 달성할 수 있는가?
• RQ4 제안된 추정기는 통계적으로 최적인지, 최소자승 하한과 일치하는가?
• RQ5 결과로 생기는 비볼록 문제를 해결하기 위한 선형 수렴성을 갖는 효율적인 알고리즘이 설계될 수 있는가?

주요 결과

• 라플라시안 구조 제약을 가진 모델에서 ℓ₁-노름 정규화는 희소성을 유도하지 못하며, 정규화를 증가시킬수록 더 많은 비영 요소를 가진 그래프로 이어진다.
• 큰 정규화 파rameter는 추정된 그래프가 완전히 연결된 그래프가 되게 하여 희소성의 목표와 정면으로 배치된다.
• 제안된 비볼록 방법은 최소자승 하한과 일치하는 통계적 오차를 달성하여 최적의 추정 성능를 나타낸다.
• 사영 그래디언트 하강 알고리즘은 선형 수렴성을 보이며, 빠르고 안정적인 최적화를 보장한다.
• 수치 실험 결과 시뮬레이션 데이터 및 실제 데이터(코로나19 및 금융 주식 네트워크 포함)에서 뛰어난 성능을 보였다.
• 오픈소스 R 패키지가 제공되어 재현성과 방법의 광범위한 활용을 가능하게 한다.