[論文レビュー] Learning from MOM's principles: Le Cam's approach

Guillaume Lecué, Lerasle Matthieu|arXiv (Cornell University)|Jan 8, 2017

Sparse and Compressive Sensing Techniques参考文献 32被引用数 8

ひとこと要約

本稿は、Le Camのアプローチに基づくレギュラー化された平均の中央値（MOM）検定を用いたロバスト推定フレームワークを提案する。弱いモーメント仮定および高レベルの汚染下でも最適な推定誤差率を達成する。この手法は、i.i.d.設定下でミニマックスレートに比例し、外れ値の割合に比例する指数的高確率リスクバウンドを保証する。これにより、最大 $ C_1 s\log(ed/s) $ 個のデータポイントが任意に破損しても、スパース信号の回復が可能になる。

ABSTRACT

We obtain estimation error rates for estimators obtained by aggregation of regularized median-of-means tests, following a construction of Le Cam. The results hold with exponentially large probability -- as in the gaussian framework with independent noise- under only weak moments assumptions on data and without assuming independence between noise and design. Any norm may be used for regularization. When it has some sparsity inducing power we recover sparse rates of convergence. The procedure is robust since a large part of data may be corrupted, these outliers have nothing to do with the oracle we want to reconstruct. Our general risk bound is of order \begin{equation*} \max\left(\mbox{minimax rate in the i.i.d. setup}, \frac{ ext{number of outliers}}{ ext{number of observations}} ight) \enspace. \end{equation*}In particular, the number of outliers may be as large as (number of data) $ imes$(minimax rate) without affecting this rate. The other data do not have to be identically distributed but should only have equivalent $L^1$ and $L^2$ moments. For example, the minimax rate $s \log(ed/s)/N$ of recovery of a $s$-sparse vector in $\mathbb{R}^d$ is achieved with exponentially large probability by a median-of-means version of the LASSO when the noise has $q_0$ moments for some $q_0>2$, the entries of the design matrix should have $C_0\log(ed)$ moments and the dataset can be corrupted up to $C_1 s \log(ed/s)$ outliers.

研究の動機と目的

• データに重い尾を持つ外れ値や敵対的外れ値が含まれる状況でも、最適な収束レートを維持するロバストな統計的推定手順の開発。
• Le Camの古典的推定フレームワークを平均の中央値検定に拡張し、二乗損失などの標準的な損失関数の使用を可能にする。
• 任意の汚染に強いリスクバウンドの確立。外れ値数がミニマックスレートに比例しても性能が劣化しない。
• MOMトーナメントとLe Cam推定量の解析を統合し、MOMに基づく推定量がこのようなトーナメントで優勝者であることを示す。
• ノイズおよびデザイン行列にモーメント条件しか課さない高次元設定（例：LASSO型問題）において、スパース回復レートを回復する。

提案手法

• テスト統計量 $ T_N(g,f) $ を用いたペアワイズ比較に基づくLe Camの一般推定フレームワークを採用し、$ f $ よりも好まれる関数の集合 $ \mathcal{B}_{T_N}(f) $ を定義する。
• 凸クラス $ F $ 内の関数を比較するためのレギュラー化されたMOM検定を構築し、$ K $ 組のデータ分割を用いてロバストな経験的平均を計算する。
• 最終推定量 $ \hat{f}_{K,\lambda}^{(j)} $ を、集合 $ \mathcal{B}_{K,\lambda}(f) $ の直径の最小化により定義し、外れ値に対してロバストであることを保証する。
• 二段階手順を採用：まず候補 $ \hat{f}_{K,\lambda}^{(1)} $ を推定し、次に第二段階でMOMに基づく最小化により改善を図り、リスク制御を強化する。
• 濃縮不等式および $ \Omega_{\text{iso}}(K) $ イベント上での等周的性質に基づく議論を用い、推定誤差の $ L^2_P $ ノルムを制御する。
• チェイングおよびモーメント条件を用いてリスクバウンドを導出：ノイズには $ q_0 > 2 $ 階モーメント、デザイン行列の要素には $ C_0 \log(ed) $ 階モーメントを要件とする。

実験結果

リサーチクエスチョン

• RQ1 Le Camの推定フレームワークは、平均の中央値検定に適応可能であり、弱いモーメント仮定下でもロバスト性を達成できるか？
• RQ2 データに最大 $ K_o $ 個の外れ値が存在する場合、正則化MOM推定量の推定誤差の最適レートは何か？
• RQ3 外れ値の数が収束レートに与える影響は何か？また、ミニマックスレートに比例しても性能が劣化しないか？
• RQ4 モーメント条件のみを満たす条件下で、MOMに基づくLASSOを用いてスパース回復レート（例：$ s\log(ed/s)/N $）を達成できるか？
• RQ5 MOMトーナメントとLe Camの一般的構成との間に直接的な関連性は存在するか？この関係性を活用して、既存のロバスト推定量を単純化できるか？

主な発見

• 提案された推定量は、$ K_o $ を外れ値数として、推定誤差バウンドが $ \max(\text{ミニマックスレート}, \, K_o / N) $ のオーダーで達成される。
• $ K_o \leq C_1 s\log(ed/s) $ の場合、$ \mathbb{R}^d $ 内のスパースベクトル回復において、ミニマックスレート $ s\log(ed/s)/N $ を回復する。重い尾を持つノイズ下でも成立する。
• ノイズに $ q_0 > 2 $ 階モーメント、デザイン行列要素に $ C_0 \log(ed) $ 階モーメントが存在する限り、リスクバウンドは指数的高確率 $ 1 - c_0 \exp(-c_1 K) $ で成立する。
• この手法により、等周的性および濃縮から導かれる明示的定数を用いて、$ L^2_P $-推定誤差が $ 340 \theta_0 \theta_r r(\rho_K) $ のオーダーで達成される。
• 最終推定量 $ \hat{f}_{\text{LE}}^{(2)} $ は、高確率で真の最小化子 $ f^* $ の $ 2\rho_K $ 内に存在することが示された。
• この手順は任意の汚染に対してロバストである：外れ値は任意の分布（すなわちモーメントが存在しない分布でも）に従ってもよく、推定量は一貫性を保つ。