[논문 리뷰] Loss minimization and parameter estimation with heavy tails

Daniel Hsu, Sivan Sabato|arXiv (Cornell University)|2016. 01. 01.

Sparse and Compressive Sensing Techniques참고 문헌 44인용 수 91

한 줄 요약

이 논문은 하중미분포 하에서 매개변수 추정을 위한 일반화된 중앙값의 평균 추정기(Generalized median-of-means estimator)를 제안한다. 이 방법은 낮은 차수의 모멘트가 유한함만 요구되며, d차원 최소제곱 회귀에서 O(d log(1/δ))개의 샘플로 지수적 농도를 달성하여, 서브가우시안 또는 유한한 노이즈 가정 없이도 강건한 추정이 가능하다.

ABSTRACT

This work studies applications and generalizations of a simple estimation technique that provides exponential concentration under heavy-tailed distributions, assuming only bounded low-order moments. We show that the technique can be used for approximate minimization of smooth and strongly convex losses, and specifically for least squares linear regression. For instance, our d-dimensional estimator requires just O(d log(1/δ)) random samples to obtain a constant factor approximation to the optimal least squares loss with probability 1-δ, without requiring the covariates or noise to be bounded or subgaussian. We provide further applications to sparse linear regression and low-rank covariance matrix estimation with similar allowances on the noise and covariate distributions. The core technique is a generalization of the median-of-means estimator to arbitrary metric spaces.

연구 동기 및 목표

• 기존 방법이 분산이 유한하지 않거나 서브가우시안 가정이 필요로 하는 하중미분포 하에서 매개변수 추정에 실패하는 문제를 해결한다.
• 유한한 저차수 모멘트 조건만을 요구하며, 임의의 거리공간에 적용 가능한 중앙값의 평균 추정기의 일반화를 개발한다.
• 서브가우시안 또는 유한한 공변수 또는 노이즈를 요구하지 않는 약한 모멘트 조건 하에서 선형 회귀 및 낮은 질량 공분산 행렬의 효율적이고 정확한 추정을 가능하게 한다.
• 데이터의 분포에 대한 약한 가정 하에서 부드럽고 강력한 볼록 손실 최소화에 대한 이론적 보장을 제공한다.
• 강건한 추정 기법의 적용 범위를 하중미분포 노이즈 하에서 희소 선형 회귀 및 공분산 추정으로 확장한다.

제안 방법

• 유한한 저차수 모멘트 조건만을 요구하며, 유클리드 공간을 초월한 임의의 거리공간에 적용 가능한 고전적 중앙값의 평균 추정기를 일반화한다.
• 데이터를 부분집합으로 나누는 전략을 사용하여 국소 추정치를 계산하고, 거리공간 내에서 중앙값을 취함으로써 외곽치에 대한 민감도를 감소시킨다.
• 거리공간 내에서 중앙값의 안정성을 활용하여, 낮은 차수의 모멘트가 유한할 경우에만 해당하는 진짜 매개변수 주위에 추정기의 지수적 농도를 달성한다.
• 최소제곱 손실을 포함한 부드럽고 강력한 볼록 손실 최소화에 일반화된 중앙값의 평균을 적용하고, 높은 확률 보장을 제공한다.
• O(d log(1/δ))개의 샘플로 최적의 최소제곱 손실에 대해 상수 요인의 근사치를 확률 1−δ로 달성할 수 있음을 보여주는 샘플 복잡도 한계를 유도한다.
• 구조화된 매개변수 공간에 적합한 중앙값의 평균 접근법을 적용하여, 희소 선형 회귀 및 낮은 질량 공분산 행렬 추정으로 이 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 서브가우시안 또는 유한한 노이즈를 요구하지 않고, 낮은 차수의 모멘트가 유한할 경우에만 작동하는 강건한 추정 기법을 개발할 수 있는가?
• RQ2 실수선을 초월한 거리공간으로 중앙값의 평균 원리를 일반화하여, 복잡한 매개변수 공간에서의 강건한 추정을 가능하게 할 수 있는가?
• RQ3 하중미분포 하에서 최적의 최소제곱 솔루션에 대한 고확률 근사치를 달성하기 위해 필요한 샘플 복잡도는 얼마인가?
• RQ4 일반화된 중앙값의 평균이 희소 회귀 및 낮은 질량 공분산 추정과 같은 구조적 추정 문제에 효과적으로 적용될 수 있는가?
• RQ5 약한 모멘트 가정 하에서 이 방법에 대해 농도 및 추정 오차에 대한 이론적 보장을 어떻게 확보할 수 있는가?

주요 결과

• 일반화된 중앙값의 평균 추정기는 낮은 차수의 모멘트가 유한할 경우에만 해당하는 진짜 매개변수 주위에 지수적 농도를 달성한다.
• d차원 최소제곱 회귀에서, 이 방법은 확률 1−δ로 최적의 손실에 대해 상수 요인의 근사치를 달성하기 위해 O(d log(1/δ))개의 샘플이 필요하다.
• 공변수 또는 노이즈가 하중미분포, 서브가우시안 또는 무한한 경우라도, 저차수 모멘트가 유한할 경우 추정기는 여전히 강건하다.
• 이 프레임워크는 희소 선형 회귀로도 성공적으로 확장되며, 약한 모멘트 조건 하에서도 샘플 효율성과 강건성을 유지한다.
• 서브가우시안 또는 유한한 데이터를 요구하지 않으며, 유사한 강건성 보장을 갖는 낮은 질량 공분산 행렬 추정이 가능하다.
• 이론적 분석은 거리공간 내 중앙값의 평균 접근법이 하중미분포 데이터가 존재하는 상황에서도 강력한 고확률 오차 한계를 제공함을 확인한다.