[논문 리뷰] Learning from MOM's principles

Guillaume Lecué, Lerasle Matthieu|arXiv (Cornell University)|2017. 01. 08.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 1

한 줄 요약

이 논문은 약한 모멘트 조건과 높은 오염 수준 하에서 최대한적 최적 속도를 달성하는 정규화 추정에 대한 강건한 평균의 중앙값 집합 방법을 제안한다. 이 방법은 종속적이거나 꼬리가 무거운 데이터일지라도 지수적으로 높은 성공 확률을 보장하며, 최대 $ C_1 s \log(ed/s) $개의 이상치를 수용할 수 있으며, 정규화가 희소성 유도할 경우 희소 복원 속도를 회복한다.

ABSTRACT

We obtain estimation error rates for estimators obtained by aggregation of regularized median-of-means tests, following a construction of Le Cam. The results hold with exponentially large probability -- as in the gaussian framework with independent noise- under only weak moments assumptions on data and without assuming independence between noise and design. Any norm may be used for regularization. When it has some sparsity inducing power we recover sparse rates of convergence. The procedure is robust since a large part of data may be corrupted, these outliers have nothing to do with the oracle we want to reconstruct. Our general risk bound is of order \begin{equation*} \max\left(\mbox{minimax rate in the i.i.d. setup}, \frac{ ext{number of outliers}}{ ext{number of observations}} ight) \enspace. \end{equation*}In particular, the number of outliers may be as large as (number of data) $ imes$(minimax rate) without affecting this rate. The other data do not have to be identically distributed but should only have equivalent $L^1$ and $L^2$ moments. For example, the minimax rate $s \log(ed/s)/N$ of recovery of a $s$-sparse vector in $\mathbb{R}^d$ is achieved with exponentially large probability by a median-of-means version of the LASSO when the noise has $q_0$ moments for some $q_0>2$, the entries of the design matrix should have $C_0\log(ed)$ moments and the dataset can be corrupted up to $C_1 s \log(ed/s)$ outliers.

연구 동기 및 목표

• 데이터와 노이즈에 대한 약한 모멘트 가정 하에서도 최대한적 수렴 속도를 유지하는 강건한 추정 절차를 개발하는 것.
• 추정 성능이 저하되지 않도록 많은 수의 이상치로 오염된 데이터 세트를 다루는 것.
• LASSO와 같은 정규화 추정기로 Le Cam의 평균의 중앙값 프레임워크를 정규화 추정기로 확장하는 것.
• 위험 한계가 이상치의 수에 따라 우아하게 스케일링되며, 그 크기나 분포와 무관하게 유지되는 것.
• 최소한의 i.i.d. 가정 하에서 작동하도록 보장하며, 데이터 포인트 간에 $ L^1 $과 $ L^2 $ 모멘트가 동등한 조건만 필요로 하는 것.

제안 방법

• 이 방법은 Le Cam의 접근 방식을 따르며, 정규화된 평균의 중앙값 검정의 집합을 통한 추정기 구축.
• 분산을 줄이고 꼬리가 두꺼운 또는 오염된 데이터에 대한 강건성을 향상시키기 위해 평균의 중앙값 프레임워크를 사용.
• 임의의 노름을 사용하여 정규화를 적용하며, 희소성 유도 노름(예: L1)을 사용하면 희소 복원이 가능.
• 약한 모멘트 조건 하에서 위험 한계를 유도: 노이즈에 대해 $ q_0 > 2 $, 설계 행렬 원소에 대해 $ C_0 \log(ed) $ 모멘트.
• 이상치가 전체 관측치의 비율이 최대한적 속도 비례하는 경우조차도 지수적으로 높은 성공 확률을 달성.
• 관측치 간에 $ L^1 $과 $ L^2 $ 모멘트가 동등하다면, i.i.d. 가정이 없더라도 데이터에 적용 가능.

실험 결과

연구 질문

• RQ1 약한 모멘트 가정과 높은 오염 수준 하에서 평균의 중앙값 집합 전략이 최대한적 최적 속도를 달성할 수 있는가?
• RQ2 정규화된 추정기의 수렴 속도가 떨어지기 전까지 몇 개의 이상치를 견딜 수 있는가?
• RQ3 정규화가 희소성을 유도할 경우 평균의 중앙값 접근법이 희소 복원 속도를 유지하는가?
• RQ4 노이즈와 설계 간의 독립성 가정 없이도 지수적 고확률 성능을 유지할 수 있는가?
• RQ5 강건한 추정과 최적 속도를 확보하기 위해 노이즈와 설계에 필요한 모멘트 조건은 무엇인가?

주요 결과

• 일般 위험 한계는 i.i.d. 설정에서의 최대한적 속도와 관측치 중 이상치 비율의 최대값에 비례한다.
• 이 방법은 $ \mathbb{R}^d $ 내에서 희소 벡터 복원에 대해 지수적으로 높은 확률로 최대한적 속도 $ s \log(ed/s)/N $ 를 달성한다.
• 최대 $ C_1 s \log(ed/s) $개의 이상치가 존재하더라도 수렴 속도에 영향을 주지 않는다.
• 노이즈는 단지 $ q_0 > 2 $ 모멘트만 필요하며, 설계 행렬 원소는 $ C_0 \log(ed) $ 모멘트를 가져야 한다.
• 데이터가 동일분포가 아니더라도 $ L^1 $과 $ L^2 $ 모멘트가 동등하다면 방법은 여전히 강건하다.
• 평균의 중앙값 LASSO는 약한 모멘트 가정과 높은 이상치 내성 하에서 최적의 희소 복원 속도를 달성한다.