[논문 리뷰] Derivatives and residual distribution of regularized M-estimators with application to adaptive tuning

Pierre Bellec, Yiwei Shen|arXiv (Cornell University)|2021. 07. 11.

Statistical Methods and Inference참고 문헌 17인용 수 5

한 줄 요약

이 논문은 노이즈가 임의이고 가우시안 설계를 갖는 고차원 선형 모델에서 정규화된 M-추정량에 대한 새로운 적응형 튜닝 기준을 개발한다. 응답과 설계 행렬에 대한 M-추정량의 야코비안에 대한 정확한 표현을 유도함으로써 잔차 분포를 특성화하고, 노이즈 분포나 설계 공분산에 대한 지식이 필요 없이 외부 샘플 오차를 근사하는 기준을 제안함으로써 강건하고 데이터 기반의 튜닝을 가능하게 한다.

ABSTRACT

This paper studies M-estimators with gradient-Lipschitz loss function regularized with convex penalty in linear models with Gaussian design matrix and arbitrary noise distribution. A practical example is the robust M-estimator constructed with the Huber loss and the Elastic-Net penalty and the noise distribution has heavy-tails. Our main contributions are three-fold. (i) We provide general formulae for the derivatives of regularized M-estimators $\hatβ(y,X)$ where differentiation is taken with respect to both $y$ and $X$; this reveals a simple differentiability structure shared by all convex regularized M-estimators. (ii) Using these derivatives, we characterize the distribution of the residual $r_i = y_i-x_i^ op\hatβ$ in the intermediate high-dimensional regime where dimension and sample size are of the same order. (iii) Motivated by the distribution of the residuals, we propose a novel adaptive criterion to select tuning parameters of regularized M-estimators. The criterion approximates the out-of-sample error up to an additive constant independent of the estimator, so that minimizing the criterion provides a proxy for minimizing the out-of-sample error. The proposed adaptive criterion does not require the knowledge of the noise distribution or of the covariance of the design. Simulated data confirms the theoretical findings, regarding both the distribution of the residuals and the success of the criterion as a proxy of the out-of-sample error. Finally our results reveal new relationships between the derivatives of $\hatβ(y,X)$ and the effective degrees of freedom of the M-estimator, which are of independent interest.

연구 동기 및 목표

• 노이즈 분포가 알려져 있지 않고 잠재적으로 무거운 尾를 가질 수 있는 상황에서, 이론적으로 탄탄한 정규화된 M-추정량의 튜닝 파rameter 선택을 위한 적응형 기준을 개발하는 것.
• 응답 벡터 y와 설계 행렬 X에 대한 정규화된 M-추정량의 도함수에 대한 일반 공식을 유도하는 것.
• n ≈ p인 중간 고차원 영역에서 잔차의 분포를 특성화하는 것.
• 노이즈 분포나 설계 공분산 구조에 대한 지식이 필요 없이 외부 샘플 예측 오차를 상수항을 제외하고 근사하는 튜닝 기준을 구성하는 것.

제안 방법

• 기울기-립시츠 손실과 볼록 페널티 하에서 M-추정량의 y와 X에 대한 야코비안을 유도함으로써, 보편적인 미분 가능성 구조를 드러낸다.
• 유도된 야코비안을 사용하여 효과적 자유도(df)와 행렬 V = diag(ψ′(r))(I - X(∂β̂/∂y))를 통한 잔차 공분산 구조를 계산한다.
• 외부 샘플 오차를 상수항을 제외하고 근사하는 튜닝 기준 Crit(ρ,g) = ||r + (df̂ / tr[V])ψ(r)||²을 제안한다. 여기서 r은 잔차 벡터이고, ψ는 손실 함수의 도함수이다.
• Huber 손실과 엘라스틱넷을 포함한 일반적인 손실-페널티 조합에 대해 비율 df̂ / tr[V]가 닫힌 형태로 표현 가능함을 입증하여 효율적인 계산을 가능하게 한다.
• 가우시안 및 라데마처 설계 하에서 무거운 꼬리 노이즈를 가진 시뮬레이션을 통해 방법을 검증하였으며, 잔차 분포 근사의 정확성과 기준의 효과성을 확인하였다.

실험 결과

연구 질문

• RQ1 고차원 선형 모델에서 정규화된 M-추정량의 도함수는 응답 벡터와 설계 행렬에 대해 일반적으로 어떤 형태를 가질까?
• RQ2 일반적인 볼록 손실과 페널티 하에서 n ≈ p인 중간 영역에서 잔차 벡터는 어떻게 분포하는가?
• RQ3 노이즈 분포나 설계 공분산에 대한 지식이 없이도 외부 샘플 예측 오차를 근사하는 데이터 기반 기준을 구성할 수 있는가?
• RQ4 M-추정량의 도함수와 그 효과적 자유도 사이의 관계는 무엇인가?
• RQ5 노이즈가 무거운 꼬리일 경우나 설계가 비가우시안일 경우, 제안된 기준은 튜닝 파rameter 선택에 얼마나 잘 작동하는가?

주요 결과

• 응답 벡터 y에 대한 정규화된 M-추정량의 야코비안은 손실 함수의 도함수와 페널티의 헤시안에만 의존하는 보편적인 구조를 가진다.
• 잔차 벡터 r = y - Xβ̂는 중간 고차원 영역에서 특성화된 분포를 따르며, 이때 행렬 V와 비율 df̂ / tr[V]가 핵심적인 역할을 한다.
• 제안된 기준 Crit(ρ,g) = ||r + (df̂ / tr[V])ψ(r)||²은 추정량에 관계없이 상수항을 제외하고 외부 샘플 오차를 근사하므로, 모델 선택을 위한 타당한 대체 기준이 된다.
• 이 기준은 적응형이다: 노이즈 분포나 설계 공분산 Σ에 대한 지식이 필요 없으며, 중간 꼬리 오차 조건에서도 잘 작동한다.
• 시뮬레이션 결과, 잔차의 분포가 이론적 모델에 잘 근사됨을 확인하였고, 기준은 외부 샘플 오차를 최소화하는 튜닝 파rameter를 성공적으로 선택하였다.
• 논문은 M-추정량의 도함수와 그 효과적 자유도 사이의 새로운 연결 고리를 드러내었으며, 비율 df̂ / tr[V]가 잔차 구조와의 핵심 연결 고리임을 입증하였다.