[논문 리뷰] Interpolating Predictors in High-Dimensional Factor Regression

Florentina Bunea, Seth Strimas-Mackey외 1명|arXiv (Cornell University)|2020. 02. 06.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 7

한 줄 요약

이 논문은 고차원 인자 회귀 모형에서 최소 노름 보간 예측기의 유한 표본 예측 리스크를 분석한다. $ p \gg n $임에도 불구하고 특징 공분산 행렬의 유효 랭크가 표본 크기 이하일 경우, 예측기가 LASSO를 능가하고 리지 회귀 및 주성분 회귀와 동일한 최적 리스크를 달성함을 보여준다. 특히 조정 파rameter가 필요로 하지 않는다.

ABSTRACT

This work studies finite-sample properties of the risk of the minimum-norm interpolating predictor in high-dimensional regression models. If the effective rank of the covariance matrix $Σ$ of the $p$ regression features is much larger than the sample size $n$, we show that the min-norm interpolating predictor is not desirable, as its risk approaches the risk of trivially predicting the response by 0. However, our detailed finite-sample analysis reveals, surprisingly, that this behavior is not present when the regression response and the features are {\it jointly} low-dimensional, following a widely used factor regression model. Within this popular model class, and when the effective rank of $Σ$ is smaller than $n$, while still allowing for $p \gg n$, both the bias and the variance terms of the excess risk can be controlled, and the risk of the minimum-norm interpolating predictor approaches optimal benchmarks. Moreover, through a detailed analysis of the bias term, we exhibit model classes under which our upper bound on the excess risk approaches zero, while the corresponding upper bound in the recent work arXiv:1906.11300 diverges. Furthermore, we show that the minimum-norm interpolating predictor analyzed under the factor regression model, despite being model-agnostic and devoid of tuning parameters, can have similar risk to predictors based on principal components regression and ridge regression, and can improve over LASSO based predictors, in the high-dimensional regime.

연구 동기 및 목표

• 고차원 조건에서 $ p \gg n $ 이면 어떻게 하여 최소 노름 보간 예측기가 낮은 예측 리스크를 달성할 수 있는지 이해하기.
• 특징과 반응의 공동 구조가 특징의 주변 공분산 구조를 넘어서 보간의 성공을 결정짓는지 조사하기.
• 인자 회귀 모형 하에서 최소 노름 보간기의 유한 표본 리스크 경계를 유도하여 최적 성능를 달성할 수 있음을 보여주기.
• 리지 회귀, 주성분 회귀, LASSO의 기준과 비교하여 보간 예측기의 리스크를 고차원 환경에서 비교하기.
• 이전의 상한 경계가 발산하는 특정 모델 클래스에서 예측기의 리스크가 0에 수렴함을 보여주기.

제안 방법

• 특징 행렬 $ \mathbf{X} $가 전순위를 가질 때, 최소 노름 보간기인 $ \widehat{\alpha} = \mathbf{X}^{+} \mathbf{y} $로 표현되는 일반화된 최소제곱(Generalized Least Squares, GLS) 추정기를 분석한다.
• 선형 인자 모형을 사용한다: $ y = Z^T \beta + \varepsilon $, $ X = A Z + E $, 여기서 잠재 인자 $ Z $, 로딩 행렬 $ A $, 잡음 $ E, \varepsilon $를 포함한다.
• 초과 리스크를 편향과 분산 성분으로 분해하여 유한 표본 리스크 경계를 도출한다: $ R(\widehat{\alpha}) = \text{bias} + \text{variance} $.
• 집중 부등식과 의사역행렬 성질을 적용하여 분산 성분을 $ \log n $ 및 $ \| \tilde{\mathbf{X}}^{+} \| $로 경계하며, 이는 $ \tilde{\mathbf{X}} $의 최소 특이값에 의존한다.
• 핵심 조건으로 유효 랭크 $ r_e(\Sigma_X) $를 사용한다: $ r_e(\Sigma_X) < c \cdot n $ 이면 리스크가 제어된다.
• 클러스터 크기 $ |I_a| $로 표현된 신호 대 잡음 비율 $ \xi = \lambda_K(A\Sigma_Z A^T)/\|\Sigma_E\| $의 하한을 유도하여 $ \xi \gtrsim \min_a |I_a| \cdot \lambda_K(\Sigma_Z)/\|\Sigma_E\| $ 를 보여준다.

실험 결과

연구 질문

• RQ1 특징 공분산 구조에 대해 어떤 조건에서 고차원 설정($ p \gg n $)에서 최소 노름 보간 예측기가 낮은 예측 리스크를 달성할 수 있는가?
• RQ2 특징과 반응 간의 공동 의존성은 특징의 주변 공분산 구조를 넘어서 보간 예측기의 일반화 성능에 영향을 미치는가?
• RQ3 조정 파rameter 없이도 고차원 인자 모형에서 최소 노름 보간기가 최적 기준에 가까운 리스크를 달성할 수 있는가?
• RQ4 인자 모형 하에서 유한 표본에서 보간 예측기의 성능이 리지 회귀, 주성분 회귀, LASSO와 어떻게 비교되는가?
• RQ5 이전 상한 경계가 발산하는 모델 클래스에서 예측기의 리스크가 0에 수렴하는가?

주요 결과

• 특징 공분산 행렬 $ \Sigma_X $의 유효 랭크가 $ c \cdot n $ 이하일 경우, 최소 노름 보간 예측기는 $ p \gg n $ 이면 유사한 최적 기준에 도달하는 초과 리스크를 달성한다.
• 인자 모형 하에서 편향 성분은 제어되며, 특정 조건에서는 초과 리스크 상한이 0에 수렴하지만, [3]의 경계는 발산한다.
• 리스크의 분산 성분은 $ \sigma_\varepsilon^2 \log n \cdot p / \sigma_p^2(\tilde{\mathbf{X}}) $ 로 경계되며, $ \tilde{\mathbf{X}} $의 최소 특이값이 너무 작지 않다면 작은 값을 유지한다.
• 신호 대 잡음 비율 $ \xi \geq \min_a |I_a| \cdot \lambda_K(\Sigma_Z)/\|\Sigma_E\| $ 는 일관된 예측을 위한 충분한 신호 강도를 보장한다.
• 모델에 종속되지 않고 조정 파rameter가 없는 보간 예측기는 리지 회귀 및 주성분 회귀와 유사한 리스크를 달성하며, 고차원 환경에서 LASSO를 능가한다.
• 잡음과 설계 행렬에 대해 서브가우시안 가정 하에, 고확률 $ \geq 1 - c/n $ 으로 리스크 경계가 유지된다.