[논문 리뷰] Sparsistency and rates of convergence in large covariance matrix estimation

Clifford Lam, Jianqing Fan|London School of Economics and Political Science Research Online (London School of Economics and Political Science)|2007. 11. 26.

Sparse and Compressive Sensing Techniques인용 수 9

한 줄 요약

이 논문은 비볼록 페널티 최대우도 방법을 사용하여 고차원 공분산 및 정밀행렬 추정에 대해 희박성 유지성(sparsistency)과 수렴 속도를 확립한다. 일반적인 페널티 함수 하에서 프로베니우스 노름 수렴 속도는 (sn log pn/n)^1/2이며, L1-페널티는 낮은 비희박성 비율(s′_n = O(pn))을 요구하지만, SCAD 및 하드 임계값 처리(hard-thresholding)는 제약 없이 더 높은 희박성 비율을 허용한다.

ABSTRACT

This paper studies the sparsistency and rates of convergence for estimating sparse covariance and precision matrices based on penalized likelihood with nonconvex penalty functions. Here, sparsistency refers to the property that all parameters that are zero are actually estimated as zero with probability tending to one. Depending on the case of applications, sparsity priori may occur on the covariance matrix, its inverse or its Cholesky decomposition. We study these three sparsity exploration problems under a unified framework with a general penalty function. We show that the rates of convergence for these problems under the Frobenius norm are of order $(s_n\log p_n/n)^{1/2}$, where $s_n$ is the number of nonzero elements, $p_n$ is the size of the covariance matrix and $n$ is the sample size. This explicitly spells out the contribution of high-dimensionality is merely of a logarithmic factor. The conditions on the rate with which the tuning parameter $λ_n$ goes to 0 have been made explicit and compared under different penalties. As a result, for the $L_1$-penalty, to guarantee the sparsistency and optimal rate of convergence, the number of nonzero elements should be small: $s_n'=O(p_n)$ at most, among $O(p_n^2)$ parameters, for estimating sparse covariance or correlation matrix, sparse precision or inverse correlation matrix or sparse Cholesky factor, where $s_n'$ is the number of the nonzero elements on the off-diagonal entries. On the other hand, using the SCAD or hard-thresholding penalty functions, there is no such a restriction.

연구 동기 및 목표

• . 희박한 공분산 및 정밀행렬에 대해, 페널티 최대우도 기반 추정에서 0인 매개변수들이 0으로 추정되는 확률이 1로 수렴하는 희박성 유지성(sparsistency)을 확립한다.
• . 프로베니우스 노름 하에서 희박한 공분산 및 정밀행렬 추정의 최적 수렴 속도를 유도한다.
• . L1, SCAD, 하드 임계값 처리 등의 다양한 페널티 함수가 희박성 유지성과 수렴 속도에 미치는 영향을 비교한다.
• . 고차원 설정에서 각 페널티 함수에 의해 유도되는 편향을 명시적으로 정량화한다.
• . 이전 연구의 한계를 보완하기 위해 수렴 및 희박성 유지성 결과에서 차원 수(pn)와 비희박 원소 수(sn) 간의 관계를 연결한다.

제안 방법

• . 일반적인 페널티 함수를 사용하는 통합 프레임워크를 통해 희박한 공분산, 정밀행렬 또는 코レス키 분해 행렬을 추정한다.
• . 비볼록 페널티를 부착한 페널티 부여된 음의 로그우도를 사용하여 추정 행렬의 희박성을 유도한다.
• . 진짜 매개변수 공간과 페널티 함수에 대한 규칙성 조건 하에서 점근정규성 및 일致성 결과를 도출한다.
• . 헤시안 행렬과 피셔 정보 행렬의 행동 분석을 위해 행렬 섭동 이론과 뉴먼 급수 전개를 적용한다.
• . 추정 오차를 측정하기 위해 프로베니우스 노름을 사용하고, 표본 크기(n), 차원(pn), 비영원소 수(sn)에 따라 수렴 속도를 유도한다.
• . 목표 함수를 편향, 분산, 페널티 항으로 분해하여 증명을 수행하며, 연산자 노름과 프로베니우스 노름을 철저히 제어한다.

실험 결과

연구 질문

• RQ1 . 일반적인 비볼록 페널티 하에서 페널티 최대우도 추정기는 고차원 공분산 및 정밀행렬에 대해 희박성 유지성을 달성하는가?
• RQ2 . 프로베니우스 노름 하에서 희박한 공분산 및 정밀행렬 추정의 최적 수렴 속도는 무엇인가?
• RQ3 . L1, SCAD, 하드 임계값 처리 등의 다양한 페널티 함수는 희박성 유지성과 수렴 속도에 어떻게 영향을 미치는가?
• RQ4 . 각 페널티 함수 하에서 페널티 추정기의 명시적 편향은 무엇인가?
• RQ5 . L1-페널티 추정에서 희박성 유지성이 보장되기 위한 비영원소 수(s′_n)에 대한 조건은 무엇인가?

주요 결과

• . 프로베니우스 노름 하에서 희박한 공분산 또는 정밀행렬 추정의 수렴 속도는 (sn log pn/n)^1/2이며, 여기서 sn은 비희박 원소의 수이다.
• . L1-페널티 추정에서 희박성 유지성과 최적 수렴 속도를 확보하기 위해서는 s′_n = O(pn)여야 하며, 이는 비대각원소 중 비영원소 수가 차원과 함께 느리게 증가해야 함을 의미한다.
• . SCAD 및 하드 임계값 처리 페널티는 s′_n에 동일한 제약을 두지 않아, 희박성 유지성을 잃지 않고도 더 높은 비희박성 비율을 허용한다.
• . L1-페널티 추정기의 편향은 명시적으로 유도되었으며, 추정 오차와 같은 주기수준임이 입증되었다.
• . 증명 과정에서 추정기는 온건한 규칙성 조건 하에서 희박성 유지성을 달성함을 보였으며, 0인 매개변수를 정확히 추정할 확률이 1로 수렴한다.
• . 수렴 속도는 로그 인자 외에는 최소최대 최적(minimax optimal)이며, 이는 고차원성이 오차에 기여하는 정도가 로그 수준에 그친다는 것을 의미한다.