[論文レビュー] Learning from MOM's principles

Guillaume Lecué, Lerasle Matthieu|arXiv (Cornell University)|Jan 8, 2017

Sparse and Compressive Sensing Techniques参考文献 28被引用数 1

ひとこと要約

本稿では、弱いモーメント条件および高い不正なデータ割合下でもミニマックス最適レートを達成する正則化推定のためのロバストな平均の中央値集合手法を提案する。依存性や重尾分布を持つデータに対しても、指数的確率で成功を保証し、最大 $ C_1 s \log(ed/s) $ 個の外れ値を許容する。正則化がスパarsityを誘導する場合には、スパース回復レートを回復する。

ABSTRACT

We obtain estimation error rates for estimators obtained by aggregation of regularized median-of-means tests, following a construction of Le Cam. The results hold with exponentially large probability -- as in the gaussian framework with independent noise- under only weak moments assumptions on data and without assuming independence between noise and design. Any norm may be used for regularization. When it has some sparsity inducing power we recover sparse rates of convergence. The procedure is robust since a large part of data may be corrupted, these outliers have nothing to do with the oracle we want to reconstruct. Our general risk bound is of order \begin{equation*} \max\left(\mbox{minimax rate in the i.i.d. setup}, \frac{ ext{number of outliers}}{ ext{number of observations}} ight) \enspace. \end{equation*}In particular, the number of outliers may be as large as (number of data) $ imes$(minimax rate) without affecting this rate. The other data do not have to be identically distributed but should only have equivalent $L^1$ and $L^2$ moments. For example, the minimax rate $s \log(ed/s)/N$ of recovery of a $s$-sparse vector in $\mathbb{R}^d$ is achieved with exponentially large probability by a median-of-means version of the LASSO when the noise has $q_0$ moments for some $q_0>2$, the entries of the design matrix should have $C_0\log(ed)$ moments and the dataset can be corrupted up to $C_1 s \log(ed/s)$ outliers.

研究の動機と目的

• データおよびノイズの弱いモーメント仮定の下でも、ミニマックス収束レートを維持するロバストな推定手順を開発すること。
• 推定性能が劣化しないように、多数の外れ値によって汚染されたデータセットを処理できること。
• LASSOなどの正則化推定量に、レ・カムの平均の中央値フレームワークを拡張し、スパース回復を可能とすること。
• 外れ値の数に応じて滑らかにスケーリングするリスクバウンドを確立すること。外れ値の大きさや分布に依存しないこと。
• 独立同分布（i.i.d.）仮定を最小限に抑え、各観測値の $ L^1 $ と $ L^2 $ モーメントが等価である限り、有効に機能すること。

提案手法

• 本手法は、レ・カムの手法に従い、正則化された平均の中央値テストの集合による推定量を構築する。
• 平均の中央値フレームワークを用いることで、分散を低減し、重尾分布や汚染されたデータに対するロバスト性を向上させる。
• 正則化には任意のノルムを適用可能であり、特にスパース回復を可能にするノルム（例：L1ノルム）を用いる。
• 弱いモーメント条件の下でリスクバウンドを導出する：ノイズに対して $ q_0 > 2 $、設計行列の要素に対して $ C_0 \log(ed) $ モーメント。
• 外れ値が最小ミニマックスレートに比例する割合を占めても、指数的高確率で成功を達成する。
• 各観測値の $ L^1 $ と $ L^2 $ モーメントが等価であれば、i.i.d. でないデータに対しても適用可能である。

実験結果

リサーチクエスチョン

• RQ1 弱いモーメント仮定および高い不正なデータ割合下でも、平均の中央値集合戦略がミニマックス最適レートを達成できるか？
• RQ2 正則化推定量は、収束レートが劣化する前に、最大何個の外れ値を耐えられるか？
• RQ3 正則化がスパarsityを誘導する場合、平均の中央値アプローチはスパース回復レートを保持できるか？
• RQ4 ノイズと設計行列の間の独立性を仮定しないまま、指数的高確率性能を維持できるか？
• RQ5 ロバスト推定と最適レートを保証するための、ノイズおよび設計行列に必要なモーメント条件は何か？

主な発見

• 一般リスクバウンドは、i.i.d. フレームワーク下でのミニマックスレートと、外れ値数/全観測数の最大値に比例する。
• 本手法は、$ \mathbb{R}^d $ 内のスパースベクトル回復において、指数的高確率でミニマックスレート $ s \log(ed/s)/N $ を達成する。
• 最大 $ C_1 s \log(ed/s) $ 個の外れ値が存在しても、収束レートに影響を与えない。
• ノイズには $ q_0 > 2 $ モーメントのみ必要であり、設計行列の要素には $ C_0 \log(ed) $ モーメントが必要。
• 各観測値の $ L^1 $ と $ L^2 $ モーメントが等価であれば、データが同一分布でなくても本手法はロバストである。
• 平均の中央値LASSOは、弱いモーメント仮定および高い外れ値耐性下でも、最適なスパース回復レートを達成する。