[논문 리뷰] Interpolation under latent factor regression models

Florentina Bunea, Seth Strimas-Mackey외 1명|arXiv (Cornell University)|2020. 02. 06.

Matrix Theory and Algorithms인용 수 8

한 줄 요약

이 논문은 잠재因자 모델 하에서 고차원 회귀에서 최소노름 보간 예측기의 유한표본 위험을 분석한다. 특징과 반응이 함께 저질서수인 경우, $p \gg n$ 이더라도 예측기가 near-optimal 위험을 달성함을 보여주며, 이는 이전의 경계를 초월하고 주로 성분 회귀와 같은 모델 보조 방법과 일치한다.

ABSTRACT

This work studies finite-sample properties of the risk of the minimum-norm interpolating predictor in high-dimensional regression models. If the effective rank of the covariance matrix $\Sigma$ of the $p$ regression features is much larger than the sample size $n$, we show that the min-norm interpolating predictor is not desirable, as its risk approaches the risk of trivially predicting the response by $0$. However, our detailed finite sample analysis reveals, surprisingly, that this behavior is not present when the regression response and the features are jointly low-dimensional, and follow a widely used factor regression model. Within this popular model class, and when the effective rank of $\Sigma$ is smaller than $n$, while still allowing for $p \gg n$, both the bias and the variance terms of the excess risk can be controlled, and the risk of the minimum-norm interpolating predictor approaches optimal benchmarks. Moreover, through a detailed analysis of the bias term, we exhibit model classes under which our upper bound on the excess risk approaches zero, while the corresponding upper bound in the recent work arXiv:1906.11300v3 diverges. Furthermore, we show that minimum-norm interpolating predictors analyzed under factor regression models, despite being model-agnostic, can have similar risk to model-assisted predictors based on principal components regression, in the high-dimensional regime.

연구 동기 및 목표

• 최소노름 보간 예측기의 유한표본 행동을 이해하기 위해 고차원 회귀에서 분석한다.
• 특징 수 $p$가 표본 크기 $n$을 초과할 때 이러한 예측기가 여전히 효과적인지 조사한다.
• 최소노름 예측기의 위험이 최적 기준에 가까워지는 조건을 검토한다.
• 모델 무관 최소노름 예측기와 주로 성분 회귀와 같은 모델 보조 방법 간의 성능을 비교한다.
• 이 논문과 이전 문헌 간의 위험 경계 불일치를 해결한다. 예를 들어 arXiv:1906.11300v3.

제안 방법

• 잠재인자 회귀 모델 하에서 초과 위험을 편향과 분산 성분으로 분해하여 분석한다.
• 특징 공분산 행렬 $\Sigma$의 효과적 질서수를 핵심 구조적 매개변수로 사용한다.
• 최소노름 보간 예측기의 초과 위험에 대한 유한표본 상한 경계를 도출한다.
• 특정 조건에서 편향 항이 사라지게 되는 조건을 확립한다. 이는 $p \gg n$ 인 경우에도 성립한다.
• 이전 연구의 경계와 비교하며, 특히 arXiv:1906.11300v3와의 비교를 수행한다.
• 최소노름 예측기가 명시적인 모델 피팅 없이도 주로 성분 회귀와 유사한 위험을 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 최소노름 보간 예측기가 $p \gg n$ 인 조건에서 언제 낮은 위험을 유지하는가?
• RQ2 특징 공분산 행렬 $\Sigma$의 효과적 질서수가 최소노름 예측기의 위험에 어떤 영향을 미치는가?
• RQ3 고차원 설정에서 최소노름 예측기가 최적 기준에 가까운 위험을 달성할 수 있는가?
• RQ4 왜 이 논문의 초과 위험 경계는 특정 모델 클래스에서는 0에 수렴하지만, arXiv:1906.11300v3의 경계는 동일한 조건에서 발산하는가?
• RQ5 모델 무관 최소노름 예측기의 성능은 주로 성분 회귀와 같은 모델 보조 방법과 비교해 어떻게 되는가?

주요 결과

• 특징 공분산 행렬 $\Sigma$의 효과적 질서수가 $n$보다 작을 경우, 최소노름 보간 예측기는 초과 위험을 최적 기준에 가깝게 달성한다.
• 공동 저질서수 인자 모델에서, $p \gg n$ 인 경우에도 초과 위험의 편향 및 분산 항이 모두 제어된다.
• 특정 모델 클래스에서는 편향 항이 0으로 줄어들 수 있으며, 이는 arXiv:1906.11300v3의 상한 경계가 동일한 조건에서 발산하는 것과 대비된다.
• 모델 무관 예측기임에도 불구하고, 고차원 영역에서 최소노름 예측기의 위험은 주로 성분 회귀와 동일하다.
• 특징 공분산 행렬 $\Sigma$의 효과적 질서수가 $n$보다 훨씬 클 경우에만 예측기가 0 예측의 위험에 수렴하며, 이는 저질서수 가정 하에서는 피할 수 있다.