[논문 리뷰] On the robustness of minimum-norm interpolators

Geoffrey Chinot, Matthias Löffler외 1명|arXiv (Cornell University)|2020. 12. 01.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 임의의 오차, 심지어 적대적인 오차가 존재하는 선형 모델에서 최소노름 보간기의 일반 이론을 수립하며, 예측 오차가 공변수의 Rademacher 복잡도, 오차의 최소노름 보간기의 노름, 그리고 부분미분의 기하학에 의해 제한됨을 보여준다. 과다파rameter화가 표본 크기보다 적어도 로그 크기 이상으로 이루어질 경우, 희소 또는 저질서 모델이 평균 노이즈 수준과 같은 주문의 예측 오차를 달성함을 보여준다.

ABSTRACT

This article develops a general theory for minimum-norm interpolated estimators in linear models in the presence of additive, potentially adversarial, errors. In particular, no conditions on the errors are imposed. A quantitative bound for the prediction error is given, relating it to the Rademacher complexity of the covariates, the norm of the minimum norm interpolator of the errors and the shape of the subdifferential around the true parameter. The general theory is illustrated with several examples: the sparse linear model with minimum $\ell_1$-norm or group Lasso penalty interpolation, the low rank trace regression model with nuclear norm minimization, and minimum Euclidean norm interpolation in the linear model. In case of sparsity or low-rank inducing norms, minimum norm interpolation yields a prediction error of the order of the average noise level, provided that the overparameterization is at least a logarithmic factor larger than the number of samples. Lower bounds that show near optimality of the results complement the analysis.

연구 동기 및 목표

• 임의의 덧셈 오차가 존재하는 선형 모델에서 최소노름 보간 추정기의 일반 이론적 프레임워크를 개발하는 것.
• 오차 항목에 대한 분포 가정을 부과하지 않고도 예측 오차의 경계를 분석하는 것.
• 과다파arameter화, 공변수 구조, 그리고 부분미분의 기하학이 추정 정확도에 미치는 영향을 규명하는 것.
• 희소 및 저질서 설정에서 최소노름 보간이 최소한의 가정 하에 거의 최적임을 보여주는 것.

제안 방법

• 공변수 구조가 예측 오차에 미치는 영향을 정량화하기 위해 Rademacher 복잡도를 사용한다.
• 예측 오차 경계를 유도하며, 이는 오차의 최소노름 보간기의 노름과 진짜 매개변수 주변의 부분미분의 형태에 의존한다.
• ℓ₁, 그룹 Lasso, 핵노름을 포함한 일반 노름에 적용 가능하여 희소성 및 저질서 복구 분석이 가능하다.
• 이중성과 부분미분 기하학을 활용하여 고차원 설정에서 최소노름 추정기의 행동을 특성화한다.
• 프레임워크는 세 가지 표준 모델에 적용된다: ℓ₁-노름을 사용한 희소 선형 모델, 그룹 Lasso, 핵노름을 사용한 저질서 추적 회귀.
• 도출된 오차율이 주어진 가정 하에서 거의 최적임을 보여주기 위해 하한을 유도한다.

실험 결과

연구 질문

• RQ1 분포 가정 없이, 임의의 오차, 심지어 적대적인 오차가 존재할 경우 최소노름 보간기의 예측 오차는 어떻게 행동하는가?
• RQ2 희소 또는 저질서 모델에서 과다파arameter화는 예측 오차를 어떻게 제어하는가?
• RQ3 부분미분의 기하학과 공변수의 Rademacher 복잡도는 추정 정확도에 어떤 영향을 미치는가?
• RQ4 고차원 설정에서 최소노름 보간이 평균 노이즈 수준과 같은 주문의 예측 오차를 달성할 수 있는가?
• RQ5 유도된 오차 경계는 거의 최적이며, 이러한 추정기의 기본 한계는 무엇인가?

주요 결과

• 예측 오차는 공변수의 Rademacher 복잡도에 비례하는 항, 오차의 최소노름 보간기의 노름, 그리고 진짜 매개변수 주변의 부분미분의 국소 기하학에 의해 제한된다.
• ℓ₁-노름 보간을 사용한 희소 선형 모델에서, 과다파arameter화가 표본 크기의 로그 요인을 초과할 경우, 예측 오차는 평균 노이즈 수준과 같은 주문이 된다.
• 핵노름 최소화를 사용한 저질서 추적 회귀에서, 동일한 과다파arameter화 조건 하에 동일한 오차율이 달성된다.
• 유도된 오차율이 고려된 설정에서 거의 최적임을 확인하기 위해 하한이 제공된다.
• 오차에 대한 모멘트나 분포 가정이 전혀 필요 없어, 이 프레임워크는 적대적 오염에 대해 강건하다.