[논문 리뷰] Approximate loss minimization with heavy tails.

Daniel Hsu, Sivan Sabato|arXiv (Cornell University)|2013. 07. 07.

Sparse and Compressive Sensing Techniques인용 수 10

한 줄 요약

이 논문은 유클리드 공간 외의 거리공간에 대해 일반화된 중앙값의 평균 추정기법을 제안하며, 낮은 차수의 유한한 모멘트 조건만으로도 무거운 尾를 가진 분포 하에서 지수적 농도를 달성할 수 있도록 한다. 이는 최소 제곱 회귀와 같은 부드럽고 강력한 볼록 손실 함수의 근사 최소화에 대해 $ frac{1}{ ilde{O}}(d\log(1/\delta))$의 최적 샘플 복잡도를 달성하며, 하위가우시안 또는 유한한 공변수나 잡음 조건을 요구하지 않는다.

ABSTRACT

This work studies applications and generalizations of a simple estimation technique that provides exponential concentration under heavy-tailed distributions, assuming only bounded low-order moments. We show that the technique can be used for approximate minimization of smooth and strongly convex losses, and specifically for least squares linear regression. For instance, our $d$-dimensional estimator requires just $ ilde{O}(d\log(1/\delta))$ random samples to obtain a constant factor approximation to the optimal least squares loss with probability $1-\delta$, without requiring the covariates or noise to be bounded or subgaussian. We provide further applications to sparse linear regression and low-rank covariance matrix estimation with similar allowances on the noise and covariate distributions. The core technique is a generalization of the median-of-means estimator to arbitrary metric spaces.

연구 동기 및 목표

• 무거운 꼬리 분포 하에서 낮은 차수의 유한한 모멘트 조건만으로도 강력한 농도 성질을 유지하는 강력한 추정 기법을 개발하는 것.
• 실수 값 데이터를 넘어서 임의의 거리공간으로 중앙값의 평균 원리를 확장하여 더 넓은 적용 가능성을 확보하는 것.
• 고차원 설정에서 부드럽고 강력한 볼록 손실 함수의 근사 최소화에 대해 최적의 샘플 복잡도를 달성하는 것.
• 최소 제곱 회귀, 희소 선형 회귀, 낮은 질량 공분산 추정과 같은 실질적 문제들에 이 방법을 적용하는 것.
• 고차원 추정 과제에서 하위가우시안 또는 유한한 잡음과 공변수 조건이 필요 없도록 제거하여 실제 적용에서의 강력성을 향상시키는 것.

제안 방법

• empirical risk minimizer의 공간에서 기하학적 중앙값을 사용하여 고전적 중앙값의 평균 추정기를 임의의 거리공간으로 일반화한다.
• 데이터를 그룹으로 나누는 전략을 사용하며, 각 그룹에 대해 위험 최소화자를 계산한 후 이 추정자들의 기하학적 중앙값을 취한다.
• 손실 함수의 안정성과 거리 구조에 기반하여, 기저 분포가 무거운 꼬리를 가질 경우에도 농도를 보장한다.
• 하위가우시안 또는 유한성 조건을 피하고, 제약이 있는 낮은 차수의 모멘트(예: 두 번째 모멘트)의 유한성만 최소 가정으로 삼는다.
• 일반화된 중앙값의 평균을 특정 문제들—최소 제곱 회귀, 희소 회귀, 낮은 질량 공분산 추정—에 적용한다.
• 기하학적 중앙값의 압축 성질을 활용하여 거리공간 내에서의 농도 부등식을 통해 이론적 보장을 수립한다.

실험 결과

연구 질문

• RQ1 중앙값의 평균 원리가 거리공간으로 일반화되어 무거운 꼬리 분포 하에서도 지수적 농도를 유지할 수 있는가?
• RQ2 약한 모멘트 조건 하에서 고차원 회귀에서 최적 손실의 상수 요인 근사치를 달성하기 위한 최적 샘플 복잡도는 무엇인가?
• RQ3 희소 선형 회귀 및 낮은 질량 공분산 추정에 이 방법을 적용할 수 있는가? 하위가우시안 또는 유한한 잡음 조건이 필요하지 않은가?
• RQ4 데이터 분포가 무거운 꼬리를 가질 경우 일반화된 중앙값의 평균 추정기의 성능은 고전적 추정기와 비교해 어떻게 되는가?
• RQ5 비하위가우시안 설정에서 강력한 농도를 달성하기 위해 필요한 최소 모멘트 조건은 무엇인가?

주요 결과

• 제안된 추정기는 $d$ 차원에서 $ ilde{O}(d\log(1/\delta))$의 샘플만으로도 최적의 최소 제곱 손실의 상수 요인 근사치를 확률 $1 - \delta$로 달성한다.
• 공변수나 잡음에 하위가우시안 또는 유한성 조건이 전혀 필요 없으며, 낮은 차수의 유한한 모멘트 조건만으로도 충분하다.
• 일반화된 중앙값의 평균 추정기는 무거운 꼬리 분포 하에서도 거리공간 내에서 지수적 농도를 보장한다.
• 이 기법은 희소 선형 회귀에 적용되어 약한 모멘트 조건 하에서도 강력성을 확보한다.
• 낮은 질량 공분산 행렬 추정에 있어서, 유한하거나 하위가우시안 요소가 필요 없이도 강력한 추정이 가능하다.
• 이론적 프레임워크는 기하학적 중앙값이 고차원 설정에서 강력성과 최적 샘플 복잡도를 동시에 확보함을 보여준다.