[논문 리뷰] Consistent Risk Estimation in Moderately High-Dimensional Linear Regression

Ji Xu, Arian Maleki외 2명|arXiv (Cornell University)|2019. 02. 05.

Mathematical Approximation and Integration참고 문헌 61인용 수 5

한 줄 요약

이 논문은 표본 수 $n$과 특징 수 $p$가 $n/p \to \delta > 1$ 로 증가하는 중간 고차원 선형 회귀에서 이탈자 제거 교차검증(LOOCV), 근사 이탈자 제거(ALO), 그리고 근사 메시지 전달(AMP) 기반의 위험 추정의 일致성을 확립한다. 주요 기여는 이러한 널리 사용되는 방법들이 이 점근적 설정 하에서 진짜 외부 샘플 예측 오차에 확률적으로 수렴함을 증명하는 것으로, AMP와 LOOCV 잔차 간의 차이에 대한 새로운 경계를 통해 정밀한 수렴 속도 분석이 가능해졌다.

ABSTRACT

Risk estimation is at the core of many learning systems. The importance of this problem has motivated researchers to propose different schemes, such as cross validation, generalized cross validation, and Bootstrap. The theoretical properties of such estimates have been extensively studied in the low-dimensional settings, where the number of predictors $p$ is much smaller than the number of observations $n$. However, a unifying methodology accompanied with a rigorous theory is lacking in high-dimensional settings. This paper studies the problem of risk estimation under the moderately high-dimensional asymptotic setting $n,p ightarrow \infty$ and $n/p ightarrow δ>1$ ($δ$ is a fixed number), and proves the consistency of three risk estimates that have been successful in numerical studies, i.e., leave-one-out cross validation (LOOCV), approximate leave-one-out (ALO), and approximate message passing (AMP)-based techniques. A corner stone of our analysis is a bound that we obtain on the discrepancy of the `residuals' obtained from AMP and LOOCV. This connection not only enables us to obtain a more refined information on the estimates of AMP, ALO, and LOOCV, but also offers an upper bound on the convergence rate of each estimate.

연구 동기 및 목표

• 중간 고차원 설정에서 위험 추정에 대한 엄밀한 이론적 지원이 부족한 점을 해결하기 위해, 특히 $n$과 $p$가 $n/p \to \delta > 1$ 로 증가할 때의 상황을 다루는 것.
• 이 점근적 설정 하에서 세 가지 경험적으로 성공한 위험 추정 기법—LOOCV, ALO, AMP—의 일치성을 확립하는 것.
• 진짜 매개변수 벡터 $\bm{\beta}_0$의 희박성 가정 없이도 중간 고차원 선형 모델에서 이러한 방법들의 신뢰성에 대한 이론적 기초를 마련하는 것.
• AMP 잔차와 LOOCV 잔차 간의 차이를 분석하여 각 위험 추정의 수렴 속도 경계를 도출하는 것.

제안 방법

• 근사 메시지 전달(AMP)과 이탈자 제거 교차검증(LOOCV)의 잔차 간 차이에 대한 새로운 경계를 유도하여 이론적 분석의 핵심이 되는 것.
• 조정 파rameter $\gamma$, 쌍대 변수 $\theta$, 잔차 대체 변수 $\bm{z}$ 를 포함하는 고정점 시스템을 사용해 AMP 프레임워크를 통해 외부 샘플 예측 오차의 추정치를 도출하는 것.
• 방정식 (111)으로 구성된 방정식 시스템을 통해 조정 파arameter $\gamma$ 와 AMP 파arameter $\tau$ 사이의 일대일 대응 관계를 확립하여 일致한 위험 추정치의 구축을 가능하게 하는 것.
• LOOCV 행동을 모방하는 잔차 대체 변수 $\bm{z} = \bm{y} - \bm{X}\hat{\bm{\beta}}_{\lambda} + \hat{\theta} \cdot l'(\bm{y} - \bm{X}\hat{\bm{\beta}}_{\lambda})$ 를 도입하여 일치한 위험 추정을 가능하게 하는 것.
• 제곱 손실과 브릿지 페널티 이외의 광범위한 손실 함수와 정규화 항에 대해 AMP 기반 위험 추정 방법을 일반화하는 것.
• 지정된 점근적 설정 하에서 LOOCV, ALO, AMP로부터 유도된 추정치가 진짜 외부 샘플 예측 오차에 대해 확률적으로 일치함을 증명하는 것.

실험 결과

연구 질문

• RQ1 표본 수 $n$과 특징 수 $p$가 $n/p \to \delta > 1$ 로 증가하는 조건에서 LOOCV, ALO, AMP 기반 위험 추정기의 일치성이 유지되는가?
• RQ2 AMP 잔차와 LOOCV 잔차 간의 이론적 연결 고리를 확립하여 일치성 증명을 뒷받침할 수 있는가?
• RQ3 중간 고차원 점근적 설정 하에서 이러한 위험 추정기의 수렴 속도는 어떠한가?
• RQ4 제곱 손실과 브릿지 페널티 이외의 일반적인 손실 함수와 정규화 항에 대해서도 AMP 기반 위험 추정치가 일치하는가?
• RQ5 AMP 잔차 대체 변수 $\bm{z}$ 와 LOOCV 간의 힌트적 연결 고리를 엄밀하게 형식화하고 일치성 증명에 활용할 수 있는가?

주요 결과

• LOOCV, ALO, AMP 기반 위험 추정기 모두 점근적 설정 $n,p \to \infty$ 이면서 $n/p \to \delta > 1$ 에서 진짜 외부 샘플 예측 오차에 대해 확률적으로 일치한다.
• 논문은 AMP 잔차와 LOOCV 잔차 간의 차이에 대한 비점근적 경계를 확립하여 일치성 증명과 함께 수렴 속도 분석의 기초를 마련한다.
• AMP 기반 위험 추정치는 제곱 손실과 브릿지 페널티에 국한되지 않은 광범위한 손실 함수와 정규화 항으로 일반화되어 이전 결과가 제한된 범위를 초월해 적용 가능성을 넓힌다.
• 잔차 대체 변수 $\bm{z} = \bm{y} - \bm{X}\hat{\bm{\beta}}_{\lambda} + \hat{\theta} \cdot l'(\bm{y} - \bm{X}\hat{\bm{\beta}}_{\lambda})$ 는 LOOCV 추정치와 유사하게 행동함을 입증하여 일관된 위험 추정에의 사용을 정당화한다.
• 가정된 조건 하에서 잔차 $\bm{y} - \bm{X}\hat{\bm{\beta}}_{\lambda}$ 의 비영 비율이 높은 확률로 유계임을 보여 위험 추정치의 안정성을 뒷받침한다.
• 각 위험 추정치의 수렴 속도는 잔차 간 차이 경계를 통해 상한선으로 제시되어 추정치가 진짜 위험에 얼마나 빨리 수렴하는지에 대한 정량적 측도를 제공한다.