[논문 리뷰] Sparse Matrix Inversion with Scaled Lasso

Tingni Sun, Cun‐Hui Zhang|arXiv (Cornell University)|2012. 02. 13.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 69

한 줄 요약

이 논문은 고차원 정밀행렬 추정을 위해 열별로 적용된 스케일링 라소를 사용하는 새로운 희박 행렬 역행렬 계산 방법을 제안한다. 이 방법은 기존의 $μat$-정규화된 방법보다 더 약한 조건 하에서 스펙트럼 노름에서 가장 빠른 증명된 수렴 속도를 달성하며, 데이터 기반의 펜alties 선택과 이론적 보장까지 제공한다. 특히 $μat$-노름과 스펙트럼 노름의 비율이 무한대로 발산할 경우 더 빠른 수렴 속도를 보장한다.

ABSTRACT

We propose a new method of learning a sparse nonnegative-definite target matrix. Our primary example of the target matrix is the inverse of a population covariance or correlation matrix. The algorithm first estimates each column of the target matrix by the scaled Lasso and then adjusts the matrix estimator to be symmetric. The penalty level of the scaled Lasso for each column is completely determined by data via convex minimization, without using cross-validation. We prove that this scaled Lasso method guarantees the fastest proven rate of convergence in the spectrum norm under conditions of weaker form than those in the existing analyses of other $\ell_1$ regularized algorithms, and has faster guaranteed rate of convergence when the ratio of the $\ell_1$ and spectrum norms of the target inverse matrix diverges to infinity. A simulation study demonstrates the computational feasibility and superb performance of the proposed method. Our analysis also provides new performance bounds for the Lasso and scaled Lasso to guarantee higher concentration of the error at a smaller threshold level than previous analyses, and to allow the use of the union bound in column-by-column applications of the scaled Lasso without an adjustment of the penalty level. In addition, the least squares estimation after the scaled Lasso selection is considered and proven to guarantee performance bounds similar to that of the scaled Lasso.

연구 동기 및 목표

• 고차원 희박 공분산 행렬의 역행렬을 계산적으로 실현 가능하고 이론적으로 최적화된 방법으로 추정하는 것.
• 기존의 $μat$-정규화된 방법의 한계를 극복하기 위해 더 약한 가정 하에서 더 빠른 수렴 속도를 달성하는 것.
• 교차검증을 피하기 위해 볼록 최적화를 통해 데이터 기반의 페널티 수준을 유도함으로써 페널티 선택에 대한 필요성을 제거하는 것.
• 스케일링 라소와 그 후행 선택 최소제곱 보정의 이론적 성능 경계를 수립하는 것.
• 페널티 조정 없이도 유니온 바운드 호환성을 갖는 열별 추정을 가능하게 하는 것.

제안 방법

• 목표 정밀행렬의 각 열은 회귀 계수와 잡음 분산을 동시에 추정하는 스케일링 라소를 사용하여 추정한다.
• 각 열의 페널티 수준은 데이터에 의존하는 기준을 볼록 최소화를 통해 결정하여 교차검증을 피한다.
• 결과로 얻어진 비대칭 행렬 추정치는 대칭적이며 음이 아닌 정부정행렬 추정치를 얻기 위해 대칭화된다.
• 이론적 분석은 데이터에 정규성 가정과 진짜 정밀행렬의 $μat$ 및 스펙트럼 노름에 대한 경계를 기반으로 한다.
• 정밀행렬 추정과 고차원 선형 회귀 간의 관계를 활용하여 각 열을 독립적으로 스케일링 라소를 적용한다.
• 집중 부등식을 사용하고 스펙트럼 노름에서의 추정 오차를 제어함으로써 성능 경계를 유도한다.

실험 결과

연구 질문

• RQ1 기존의 $μat$-정규화된 방법보다 열별 스케일링 라소 접근법이 스펙트럼 노름에서 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 제안된 방법이 수렴 속도 측면에서 기존 방법보다 우월한 조건은 무엇인가?
• RQ3 고차원 정밀행렬 추정에서 볼록 최적화를 통한 데이터 기반 페널티 선택이 교차검증을 대체할 수 있는가?
• RQ4 스케일링 라소는 표준 라소보다 더 날카운 추정 오차 집중을 가능하게 하는가?
• RQ5 페널티 조정 없이도 열별 스케일링 라소에 대해 유니온 바운드를 적용할 수 있으며, 이는 이론적 보장에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 기존 $μat$-정규화 알고리즘 분석보다 더 약한 조건 하에서 스펙트럼 노름에서 가장 빠른 증명된 수렴 속도를 달성한다.
• 진짜 정밀행렬의 $μat$ 노름과 스펙트럼 노름의 비율이 무한대로 발산할 경우, 기존 방법보다 더 빠른 보장 수렴 속도를 갖는다.
• 스케일링 라소 추정치는 이전 분석보다 더 낮은 임계 수준에서 오차의 더 높은 집중을 보장하여 유한 표본 성능을 향상시킨다.
• 페널티 조정 없이도 열별 응용에서 유니온 바운드를 적용할 수 있어 이론적 분석이 간소화된다.
• 스케일링 라소 선택 후 최소제곱 추정치는 스케일링 라소 자체와 유사한 성능 경계를 달성한다.
• 이론적 결과는 페널티 수준이 데이터 기반 임계 수준을 초과할 경우 추정치가 최적화되지 않음을 보여주며, 오차의 하한은 $c_{0}m^{3/2}L_{n}(m/p)$ 비례한다.