[論文レビュー] Excess risk bounds in robust empirical risk minimization

Stanislav Minsker, Timothée Mathieu|arXiv (Cornell University)|Oct 16, 2019

Statistical Methods and Inference参考文献 43被引用数 8

ひとこと要約

本稿は、標準的な標本平均を代替するためのロバスト推定器（特に、平均の中央値およびカトニ型推定器）を用いて、重い尾を持つ分布および悪意のある汚染に耐性を持つ、ロバストな経験的リスク最小化（ERM）フレームワークを提案する。最小限のモーメント仮定のもとでも、高い確率で高速な収束レートを達成する過剰リスクの境界を確立する。この境界は、標本サイズおよび汚染レベルに明示的な依存関係を示す。

ABSTRACT

This paper investigates robust versions of the general empirical risk minimization algorithm, one of the core techniques underlying modern statistical methods. Success of the empirical risk minimization is based on the fact that for a "well-behaved" stochastic process $\left\{ f(X), \ f\in \mathcal F ight\}$ indexed by a class of functions $f\in \mathcal F$, averages $\frac{1}{N}\sum_{j=1}^N f(X_j)$ evaluated over a sample $X_1,\ldots,X_N$ of i.i.d. copies of $X$ provide good approximation to the expectations $\mathbb E f(X)$ uniformly over large classes $f\in \mathcal F$. However, this might no longer be true if the marginal distributions of the process are heavy-tailed or if the sample contains outliers. We propose a version of empirical risk minimization based on the idea of replacing sample averages by robust proxies of the expectation, and obtain high-confidence bounds for the excess risk of resulting estimators. In particular, we show that the excess risk of robust estimators can converge to $0$ at fast rates with respect to the sample size. We discuss implications of the main results to the linear and logistic regression problems, and evaluate the numerical performance of proposed methods on simulated and real data.

研究の動機と目的

• 重い尾を持つデータや悪意のある汚染の下で、標準的な集中不等式が破綻するため、古典的経験的リスク最小化（ERM）が失敗することに対処する。
• 有限第二から第四モーメントが存在するような弱いモーメント条件のもとでも、統計的効率性と高い確率での性能保証を維持するロバストなERMフレームワークを開発する。
• 重い尾や汚染されたデータがあっても、結果として得られる推定量の過剰リスクが高速レートでゼロに収束することを保証する。
• 過剰リスクの理論的境界を明示的に、汚染レベルおよび標本サイズに依存する形で提供し、最小限の分布的仮定のもとで実用的なロバストな学習を可能にする。

提案手法

• 標準的な経験的平均の代わりに、第二モーメントが有限であるだけで、正規分布に近い集中性を達成できる平均の中央値推定器を用いる。
• 期待値の代替としてカトニのロバスト推定器を用い、弱いモーメント条件のもとできびしい逸脱境界を提供する。
• データを互いに素な部分集合に分割し、各部分集合でロバスト推定値を計算した後、それらの中央値をとることで、外れ値への感受性を低減するロバスト推定器を構築する。
• ロバスト推定器に特化した、経験過程理論および対称化技術を用いて、高信頼性の過剰リスク境界を導出する。
• 勾配推定値の比と剰余項を含む安定性の議論を用いて、過剰リスクを精緻に制御するメカニズムを導入する。
• 線形回帰およびロジスティック回帰への応用を通じて、ロバスト性制約のもとでの標準的な統計的学習問題への適用可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 有限第二から第四モーメントが存在するだけの条件下でも、ロバストな経験的リスク最小化が高速な過剰リスク収束レートを達成できるか。
• RQ2 悪意のある汚染が古典的ERMの性能に与える影響は何か。また、ロバスト推定器はその影響を軽減できるか。
• RQ3 平均の中央値またはカトニ型推定器は、経験的平均の代替として、高速な収束レートを保つためにどれほど適しているか。
• RQ4 ロバストな設定下で、過剰リスク境界が汚染レベルおよび標本サイズにどのように依存するか。
• RQ5 提案されたロバストなERMフレームワークは、理論的保証のもとで、線形回帰やロジスティック回帰といった実用的問題に拡張可能か。

主な発見

• 提案されたロバストなERM推定量は、損失関数の第二から第四モーメントが有限である場合でも、過剰リスク境界が高速レートでゼロに収束することを達成する。
• 高確率 $1 - 10e^{-s}$ において、ロバスト推定量 $ ilde{f}_N$ の過剰リスクは $ ilde{ ho} + C( ho)ig(D^2 ho( ho, ho) ig)ig(rac{rak{B}^6( ho, ho)}{M_ ho^4 n^2} + rac{s + ho}{N}ig)$ で有界であり、$ ho$ は汚染レベルである。
• 過剰リスク境界は、汚染に起因する影響が $rac{s + ho}{N}$ 項を通じてのみ劣悪にスケーリングされるため、重い尾と悪意のある外れ値の両方に対してロバストであることが示唆される。
• フレームワークにより、真の分布が重い尾を持つ場合であっても、ロバスト推定量 $ ilde{f}_N$ が $N \to \infty$ のとき $ ilde{ ho} \to 0$ を満たすことが保証される。
• 高確率事象 $\mathcal{E}_1$ の下で、候補推定量の集合 $ {F}( ilde{ ho})$ は最適リスクの $7\tilde{ ho}$-近傍内にあることが保証される。
• 理論的解析により、ロバスト推定量が最小限のモーメント仮定のもとで高速な収束レートを維持することが確認され、エンvelop norm $\frak{B}(\ell,\mathcal{F})$ およびロバストネスパラメータ $M_\Delta$ に明示的な依存関係があることが示された。