[논문 리뷰] Risk of the Least Squares Minimum Norm Estimator under the Spike Covariance Model

Yasaman Mahdaviyeh, Zacharie Naulet|arXiv (Cornell University)|2019. 12. 31.

Random Matrices and Applications참고 문헌 15인용 수 6

한 줄 요약

이 논문은 고차원, 저표본 크기의 환경에서 d/n → ∞ 인 경우 스피크 공분산 모형 하에서 최소 노름 최소 제곱(MNLS) 추정량의 위험을 분석한다. 스피크 모형의 구조를 활용하여 이전 연구보다 편향 분석을 더욱 강화함으로써, MNLS 추정량의 위험이 영 추정량의 위험에 비해 점점 사라짐을 입증한다. 이는 점근적 및 비점근적 경계를 모두 제공한다.

ABSTRACT

We study risk of the minimum norm linear least squares estimator in when the number of parameters $d$ depends on $n$, and $\frac{d}{n} ightarrow \infty$. We assume that data has an underlying low rank structure by restricting ourselves to spike covariance matrices, where a fixed finite number of eigenvalues grow with $n$ and are much larger than the rest of the eigenvalues, which are (asymptotically) in the same order. We show that in this setting risk of minimum norm least squares estimator vanishes in compare to risk of the null estimator. We give asymptotic and non asymptotic upper bounds for this risk, and also leverage the assumption of spike model to give an analysis of the bias that leads to tighter bounds in compare to previous works.

연구 동기 및 목표

• d/n → ∞ 인 고차원 설정에서 최소 노름 최소 제곱(MNLS) 추정량의 예측 위험을 분석하는 것.
• 고정된 수의 고유값이 n과 함께 증가하고 나머지 고유값을 지배하는 스피크 공분산 모형 하에서 MNLS 추정량의 행동을 연구하는 것.
• 자료의 낮은 질서 구조를 고려한 위험에 대한 점근적 및 비점근적 상한 경계를 유도하는 것.
• 이전 연구들보다 더 강한 위험 경계를 이끌어내는 고차원, 저표본 크기(HDLSS) 환경에서의 편향에 대한 새로운 분석을 제공하는 것.
• 스피크 고유값과 고유벡터의 일致 추정이 작은 위험을 초래함을 보여주는 바탕이 되는 주요 성질을 밝혀내며, 주성분 분석(PCA)과 선형 회귀 간의 연결 고리를 확립하는 것.

제안 방법

• 선형 모형 Y_i = θ^T X_i + ξ_i 를 가정하며, i.i.d. 이 라는 0 평균, 분산 σ² 인 잡음 ξ_i 를 포함한다.
• MNLS 추정량은 모든 최소 제곱 해 중에서 ℓ² 노름이 최소가 되는 해로 정의되며, 닫힌 형태로 θ̂ = (X^T X)^† X^T Y 로 주어진다.
• 논문은 Shen 등(2016a)과 Koltchinskii & Lounici(2016)의 점근적 결과를 활용하여, HDLSS 환경에서 표본 공분산 행렬의 고유값과 고유벡터의 수렴성을 다룬다.
• 교차항을 제어하기 위해 본문의 위험 분해에 포함된 고유공간에 대한 투영을 다루기 위해 볼츠만의 추적 부등식과 스펙트럼 노름 경계를 사용한다.
• 편향은 매개변수 공간을 분해하고, 농도 불등식을 사용하여 추정된 투영자와 진짜 값 간의 이탈을 경계함으로써 분석된다.
• 이론적 경계는 X₁^T θ 의 분산을 가장 큰 고유값 λ₁ 과 연결함으로써 유도되며, 스피크된 고유값과 비스피크된 고유값 간의 스펙트럼 갭을 활용한다.

실험 결과

연구 질문

• RQ1 d/n → ∞ 인 경우 스피크 공분산 모형 하에서 MNLS 추정량의 위험의 점근적 행동은 어떻게 되는가?
• RQ2 HDLSS 환경에서 MNLS 추정량의 위험은 영 추정량의 위험과 어떻게 비교되는가?
• RQ3 공분산 행렬의 스피크 구조를 활용하면 더 강한 비점근적 위험 경계를 도출할 수 있는가?
• RQ4 추정된 스피크 고유공간의 일관성이 MNLS 추정량의 편향 감소에 얼마나 기여하는가?
• RQ5 스피크된 고유값과 비스피크된 고유값 간의 스펙트럼 갭은 위험 경계에 어떤 영향을 미치는가?

주요 결과

• d/n → ∞ 인 경우 스피크 공분산 모형 하에서 MNLS 추정량의 위험은 영 추정량의 위험에 비해 점점 사라진다.
• 논문은 스펙트럼 갭과 추정된 스피크 고유공간의 일관성에 따라 의존하는 비점근적 위험 상한 경계를 제공한다.
• 이전 연구들보다 더 강한 경계를 이끌어내는 새로운 방식으로 편향 항을 분석하였으며, 특히 HDLSS 환경에서 두드러진다.
• 점근적 위험 경계는 스피크 모형에서 표본 공분산 행렬의 고유값과 고유벡터의 수렴 결과를 사용하여 도출된다.
• 분석 결과, 스피크 고유값과 고유벡터의 일관된 추정이 작은 위험을 초래함을 보여주며, 고차원 설정에서 PCA와 선형 회귀 간의 직접적인 연결 고리를 강조한다.
• 모델 가정 하에 X₁^T θ 의 분산이 λ₁‖θ‖² 과 유사함을 입증함으로써, 가장 큰 고유값을 기반으로 한 위험의 엄밀한 제어가 가능함을 보여준다.