[論文レビュー] Robust high dimensional learning for Lipschitz and convex losses

Geoffrey Chinot, Guillaume Lecué+1 more|arXiv (Cornell University)|May 10, 2019

Statistical Methods and Inference参考文献 59被引用数 5

ひとこと要約

本稿では、正則化された経験的リスク最小化（RERM）と新しいミニマックスMOM推定量を用いて、Lipschitzおよび凸損失関数に対するロバストな高次元学習手法を開発する。重みのないモーメント仮定の下で最適なサブガウス型の偏差バウンドを確立し、重尾分布や外れ値による汚染が生じるデータ設定でもロバストな性能を実現する。LASSO、SLOPE、グループLASSO、全変動正則化への応用を含む。

ABSTRACT

We establish risk bounds for Regularized Empirical Risk Minimizers (RERM) when the loss is Lipschitz and convex and the regularization function is a norm. In a first part, we obtain these results in the i.i.d. setup under subgaussian assumptions on the design. In a second part, a more general framework where the design might have heavier tails and data may be corrupted by outliers both in the design and the response variables is considered. In this situation, RERM performs poorly in general. We analyse an alternative procedure based on median-of-means principles and called minmax MOM. We show optimal subgaussian deviation rates for these estimators in the relaxed setting. The main results are meta-theorems allowing a wide-range of applications to various problems in learning theory. To show a non-exhaustive sample of these potential applications, it is applied to classification problems with logistic loss functions regularized by LASSO and SLOPE, to regression problems with Huber loss regularized by Group LASSO and Total Variation. Another advantage of the minmax MOM formulation is that it suggests a systematic way to slightly modify descent based algorithms used in high-dimensional statistics to make them robust to outliers. We illustrate this principle in a Simulations section where a minmax MOM version of classical proximal descent algorithms are turned into robust to outliers algorithms.

研究の動機と目的

• 正則化された経験的リスク最小化（RERM）のロバストなリスクバウンドを、Lipschitzおよび凸損失関数を有する高次元設定に拡張すること。
• 重尾分布の設計やデータ汚染に対してRERMが不安定になる問題を解決するため、ミニマックスMOM推定量を提案すること。
• LASSO、SLOPE、グループLASSO、全変動正則化など、多様な構造的推定問題への応用を可能にするメタ定理を導出すること。
• ミニマックスMOM原理に従い、標準的な勾配降下アルゴリズムをロバストな対応物に変換する体系的な枠組みを提供すること。
• 設計に関するサブガウス仮定の代わりにモーメント条件を用いることで、緩いモーメント条件下でも最適なサブガウス型の偏差レートを確立すること。

提案手法

• 外れ値や重尾分布データに対するロバスト性を向上させるために、メジアン・オブ・メーンズの原則に基づくミニマックスMOM推定量を提案する。
• 先行研究で用いられるグローバルな仮定を緩和するため、局所的な複雑度パラメータと局所的ベルンシュタイン条件を導入する。
• ブロックごとの経験的リスクの最大値を最小化することで、ミニマックスMOMフレームワークを正則化推定量に適用し、安定性を確保する。
• マクディアーミドの不等式、ギニ＝ジンの対称化、および収縮論法を用いて、MOM推定量の偏差に関する高確率バウンドを導出する。
• スパarsity方程式とブロック別解析を用いてリスクバウンドを導出し、モーメント条件下で最適レートを達成できることを保証する。
• 標準的な近接勾配降下アルゴリズムを、経験的リスクをミニマックスMOMリスクに置き換えることで、ロバストなバージョンに変換する一般的手続きを提案する。

実験結果

リサーチクエスチョン

• RQ1 設計に関するサブガウス仮定の代わりに緩いモーメント仮定を用いる場合、RERMが最適なサブガウス型の偏差バウンドを達成できるか？
• RQ2 ミニマックスMOM推定量は、設計変数および応答変数の両方における外れ値に対してもロバスト性を確保できるようにどのように構築できるか？
• RQ3 局所的ベルンシュタイン条件は、高次元設定におけるロバスト推定量の高速収束レートを導出する上で果たす役割は何か？
• RQ4 ミニマックスMOMフレームワークは、LASSO、SLOPE、グループLASSO、全変動正則化といった構造的正則化問題にどの程度適用可能か？
• RQ5 標準的な勾配降下アルゴリズムは、ミニマックスMOM原理に従って体系的に変換され、ロバスト性を備えた形にできるか？

主な発見

• ミニマックスMOM推定量は、設計が重尾分布を示す場合やデータに外れ値が混入している場合でも、モーメント仮定の下で最適なサブガウス型の偏差バウンドを達成する。
• 提案されたメタ定理により、局所的な複雑度パラメータに依存するリスクバウンドが得られ、グローバルな複雑度測度よりも優れた性能を実現する。
• ミニマックスMOM推定量に対して、事象 $ar{ig{ heta}}_K$ が確率 $1 - 2 ext{exp}(-cK)$ 以上で成立することが保証され、高確率での安定性が得られる。
• 推定量は高確率で $P ilde{ ho}^2 ilde{ ho}^2( ho^*, 2 ho^*)$ を満たすことが示され、高速収束レートが裏付けられる。
• 本フレームワークにより、最小限の仮定の下でLASSO、SLOPE、グループLASSO、全変動正則化のための鋭いリスクバウンドを導出可能である。
• ミニマックスMOM原理は、標準的な近接勾配降下アルゴリズムをロバストな形に変換する体系的な手法を提供しており、シミュレーションでもその有効性が示された。