[논문 리뷰] Out-of-sample error estimate for robust M-estimators with convex penalty

Pierre Bellec|arXiv (Cornell University)|2020. 08. 26.

Statistical Methods and Inference참고 문헌 40인용 수 4

한 줄 요약

이 논문은 고차원 M-추정량에 대해 볼록 페널티로 정규화된 일반적인 데이터 기반의 샘플 외 오차 추정치를 제안한다. 이는 Huber나 최소 제곱 손실과 같은 강건한 손실 함수에 적용 가능하며, 미약한 규칙성과 희소성 조건 하에서 상대 오차가 n⁻¹/² 수준에 도달한다. 이로 인해 복잡한 비선형 시스템을 풀거나 등방성 설계를 가정하지 않더라도 노이즈 분산과 일반화 오차 추정이 일관되게 가능해진다.

ABSTRACT

A generic out-of-sample error estimate is proposed for robust $M$-estimators regularized with a convex penalty in high-dimensional linear regression where $(X,y)$ is observed and $p,n$ are of the same order. If $ψ$ is the derivative of the robust data-fitting loss $ρ$, the estimate depends on the observed data only through the quantities $\hatψ= ψ(y-X\hatβ)$, $X^ op \hatψ$ and the derivatives $(\partial/\partial y) \hatψ$ and $(\partial/\partial y) X\hatβ$ for fixed $X$. The out-of-sample error estimate enjoys a relative error of order $n^{-1/2}$ in a linear model with Gaussian covariates and independent noise, either non-asymptotically when $p/n\le γ$ or asymptotically in the high-dimensional asymptotic regime $p/n oγ'\in(0,\infty)$. General differentiable loss functions $ρ$ are allowed provided that $ψ=ρ'$ is 1-Lipschitz. The validity of the out-of-sample error estimate holds either under a strong convexity assumption, or for the $\ell_1$-penalized Huber M-estimator if the number of corrupted observations and sparsity of the true $β$ are bounded from above by $s_*n$ for some small enough constant $s_*\in(0,1)$ independent of $n,p$. For the square loss and in the absence of corruption in the response, the results additionally yield $n^{-1/2}$-consistent estimates of the noise variance and of the generalization error. This generalizes, to arbitrary convex penalty, estimates that were previously known for the Lasso.

연구 동기 및 목표

• 고차원 선형 회귀에서 볼록 페널티를 갖는 M-추정량에 대해 일반적이고 데이터 기반의 샘플 외 오차 추정치를 개발하는 것.
• 손실 함수와 페널티에 대해 최소한의 가정으로 추정치가 유효하도록 보장하며, 특히 무거운 尾를 갖는 또는 오염된 반응에 대해 강건성을 확보하는 것.
• Lasso를 초월해 임의의 볼록 페널티와 일반적인 공분산 행렬에 대해 일관된 노이즈 분산 및 일반화 오차 추정을 가능하게 하는 것.
• 등방성 설계 가정에 의존하지 않으며, 일반적인 공분산 행렬 Σ ≠ I 를 허용하는 것.
• p/n ≤ γ 일 때 비점근적 보장을 제공하고, p/n → γ′ ∈ (0, ∞) 로 점근적으로도 성립하는 보장을 제공하는 것.

제안 방법

• 설계 행렬 X와 잔차 도함수 ψ(y − Xbβ), Σ⁻¹ᐟ²Xᵀψ(y − Xbβ), 그리고 bβ와 ψ(y − Xbβ)의 y에 대한 도함수를 이용해 ∥Σ¹ᐟ²(bβ − β)∥²의 데이터 기반 추정치를 제안한다.
• 최적화 문제의 KKT 조건과 연쇄법칙을 활용해 추정치의 설계 행렬 X에 대한 도함수의 명시적 형태를 유도한다.
• 고차원 점근적 조건 하에서 오차 추정치의 오차를 유계로 제한하기 위해 농도 불등식과 난수 행렬 이론을 적용한다.
• 편미분 방법과 가우시안 최소-최대 정리(GMT) 프레임워크를 활용해 모델 편미분에 대한 추정치의 안정성을 제어한다.
• 강凸성 또는 희소성 가정 하에서 추정치의 타당성을 확립하며, 오염 정도와 튜닝 파라미터에 대한 경계를 제공한다.
• Huber Lasso의 경우, 활성 집합 크기 |Ŝ|와 투영 잔차의 노름을 포함하는 추정치의 닫힌 형태를 유도한다.

실험 결과

연구 질문

• RQ1 고차원 설정에서 볼록 페널티를 갖는 M-추정량에 대해 일반적이고 데이터 기반의 샘플 외 오차 추정치를 구성할 수 있는가?
• RQ2 제안된 추정치는 일반적인 공분산과 강건한 손실 함수 하에서 n⁻¹/² 상대 오차를 달성하는가?
• RQ3 반응 오염이 없는 조건에서 추정치는 노이즈 분산과 일반화 오차를 일관되게 추정할 수 있는가?
• RQ4 비등방성 설계 행렬 하에서 이 방법은 성능이 어떻게 되며, 이전 연구에서 흔히 사용되는 등방성 가정을 피할 수 있는가?
• RQ5 Lasso와 Huber Lasso의 경우, 오차 추정치의 타당성을 보장하기 위해 희소성과 튜닝 파라미터에 어떤 조건이 필요한가?

주요 결과

• 제안된 샘플 외 오차 추정치는 가우시안 공분산과 독립된 노이즈를 갖는 선형 모델에서, 비점근적으로도 점근적으로도 p/n → γ′ ∈ (0, ∞) 로 수렴할 때 상대 오차가 n⁻¹/² 수준에 도달한다.
• 추정치는 일반적인 볼록, 미분 가능, 1--Lipschitz 도함수를 갖는 손실 함수에 대해 유효하며, 최소 제곱 손실과 Huber 손실을 포함한다.
• 제곱 손실과 반응 오염이 없는 조건에서는 노이즈 분산과 일반화 오차의 추정치가 n⁻¹/² 일관성을 확보한다.
• AMP나 한 개 제외 방법과 달리, 복잡한 비선형 방정식 시스템을 풀거나 진짜 계수 벡터 β의 지식이 필요하지 않다.
• 추정치는 일반적인 공분산 행렬 Σ ≠ I 하에서도 유효하며, 이는 이전의 고차원 분석에서 흔히 사용되는 등방성 가정을 제거한다.
• Huber Lasso의 경우, 활성 집합 크기 |Ŝ|와 투영 잔차의 노름을 포함하는 추정치가 닫힌 형태로 표현되며, 희소성 및 튜닝 파라미터 조건 하에서 오차에 대한 명시적 경계가 존재한다.