[논문 리뷰] Group Lasso estimation of high-dimensional covariance matrices

Jérémie Bigot, Biscay, Rolando외 2명|arXiv (Cornell University)|2010. 10. 08.

Random Matrices and Applications참고 문헌 28인용 수 8

한 줄 요약

이 논문은 노이즈가 있는 확률과정의 기저 전개에서 희소성의 특성을 활용하여 고차원 공분산 행렬 추정을 위한 그룹 라소 기반 방법을 제안한다. 이 방법은 그룹 라소 정규화를 통해 관련 기저 함수를 선택하여 프로베니우스 노름과 연산자 노름에서의 일致성을 보장하며, 저차원 근사화를 통해 희소 주성분 분석(sparse PCA)을 가능하게 한다.

ABSTRACT

In this paper, we consider the Group Lasso estimator of the covariance matrix of a stochastic process corrupted by an additive noise. We propose to estimate the covariance matrix in a high-dimensional setting under the assumption that the process has a sparse representation in a large dictionary of basis functions. Using a matrix regression model, we propose a new methodology for high-dimensional covariance matrix estimation based on empirical contrast regularization by a group Lasso penalty. Using such a penalty, the method selects a sparse set of basis functions in the dictionary used to approximate the process, leading to an approximation of the covariance matrix into a low dimensional space. Consistency of the estimator is studied in Frobenius and operator norms and an application to sparse PCA is proposed.

연구 동기 및 목표

• 관측 수 n이 모수의 수에 비해 작을 때 고차원 공분산 행렬 추정의 과제를 해결하기 위해.
• 기저 함수의 사전에서 희소성을 활용하여 공분산 추정 문제의 유효 차원을 감소시키기 위해.
• 표본 대비 대비를 그룹 라소 페널티로 정규화하여 관련 기저 함수를 선택하는 정규화된 추정 프레임워크를 개발하기 위해.
• 고차원 점차적 분석 하에서 프로베니우스 노름과 연산자 노름에서 추정기의 이론적 일치성을 확립하기 위해.
• 진짜 과정이 기저에서 희소할 경우, 저차원 부분공간에서 공분산 행렬을 근사화함으로써 방법의 유용성을 주성분 분석에서 입증하기 위해.

제안 방법

• 과정을 큰 기저 함수 사전에서 전개하는 방식으로 공분산 추정 문제를 행렬 회귀 모델로 공식화한다.
• 기저 함수에 해당하는 계수의 군집에 걸쳐 희소성을 유도하기 위해 표본 대비에 그룹 라소 페널티를 적용한다.
• 그룹 라소 추정기를 사용하여 희소한 기저 함수의 부분집합을 선택함으로써 진짜 공분산 행렬의 저차원 근사화를 이룬다.
• 서브가우시안 尾 조건 하에서 농도 불등식을 사용하여 추정된 공분산과 진짜 공분산 간의 편차를 통제한다.
• 변환된 데이터 벡터의 모멘트 및 尾 조건을 확인함으로써 연산자 노름과 프로베니우스 노름에서의 일치성을 확립한다.
• 설계 행렬의 구조와 노이즈 성질을 활용하여 서브가우시안 노름 통제를 통해 추정 오차의 경계를 유도한다.

실험 결과

연구 질문

• RQ1 그룹 라소 정규화가 노이즈가 있는 관측에서 고차원 공분산 행렬을 근사하기 위해 희소한 기저 함수 집합을 효과적으로 선택할 수 있는가?
• RQ2 n >> N 조건에서 제안된 그룹 라소 추정기는 프로베니우스 노름과 연산자 노름에서 일치성을 확보하는가?
• RQ3 진짜 과정이 기저에서 희소할 경우, 이 방법은 공분산 행렬의 저차원 구조를 얼마나 잘 복원하는가?
• RQ4 이 추정기는 고차원 설정에서 일관된 희소 주성분 분석 절차를 구성하는 데 사용될 수 있는가?
• RQ5 서브가우시안 노이즈와 기저 전개 하에서 그룹 라소 기반 공분산 추정기의 이론적 오차 경계는 무엇인가?

주요 결과

• 그룹 라소 추정기는 고차원 점차적 분석 하에서 연산자 노름에서 일치성을 확보하며, 오차 경계는 $ \tilde{\tau}_{N,s_{\bullet}} \times (\text{log}(M))^{\frac{2+\beta}{\beta}} $ 로 감소한다. 여기서 $ \tilde{\tau}_{N,s_{\bullet}} $ 는 서브가우시안 노름과 표본 크기에 따라 달라진다.
• 추정기는 프로베니우스 노름에서 일치하며, 진짜 모델이 기저 사전에서 희소할 경우 표본 크기가 증가함에 따라 오차가 0으로 수렴한다.
• 선택된 기저 집합 $ \tilde{J} $ 가 높은 확률로 진짜 희소 지지집합 $ J^* $ 와 일치함을 보장하여 일관된 저차원 근사화를 가능하게 한다.
• 서브가우시안 꼬리 가정과 농도 불등식을 사용하여 추정 오차의 이론적 경계를 도출하였으며, 선택된 기저의 그램 행렬의 최소 고유값에 명시적인 의존성이 있다.
• 선택된 기저 함수가 생성하는 저차원 부분공간에서 공분산 행렬을 근사함으로써 일관된 희소 주성분 분석을 가능하게 한다.
• 추정기가 주어진 오차 한계를 초과하여 진짜 공분산에서 벗어날 확률은 후보 기저 수 M의 로그의 거듭제곱에 대해 지수적으로 감소한다.