[論文レビュー] Statistical learning with Lipschitz and convex loss functions

Geoffrey Chinot, Guillaume Lecué+1 more|arXiv (Cornell University)|Oct 2, 2018

Statistical Methods and Inference参考文献 34被引用数 10

ひとこと要約

本稿は、Lipschitzおよび凸損失関数の下で、Empirical Risk Minimization (ERM) および minmax Median-of-Means (MOM) 評価関数に対する推定および過剰リスクの境界を確立する。グローバルな Bernstein 条件を局所的なものに緩和することで、弱い設計モーメント仮定および外れ値の汚染下でもロバストな性能を達成でき、局所 Bernstein 条件を放棄した場合でさえも指数的確率の逸脱境界を達成する。

ABSTRACT

We obtain risk bounds for Empirical Risk Minimizers (ERM) and minmax Median-Of-Means (MOM) estimators based on loss functions that are both Lipschitz and convex. Results for the ERM are derived without assumptions on the outputs and under subgaussian assumptions on the design and a new "local Bernstein assumption" on the class of predictors. Similar results are shown for minmax MOM estimators in a close setting where the design is only supposed to satisfy moment assumptions, relaxing the Subgaussian hypothesis necessary for ERM. The analysis of minmax MOM estimators is not based on the small ball assumption (SBA) as it was the case in the first analysis of minmax MOM estimators. In particular, the basic example of non parametric statistics where the learning class is the linear span of localized bases, that does not satisfy SBA can now be handled. Finally, minmax MOM estimators are analysed in a setting where the local Bernstein condition is also dropped out. It is shown to achieve an oracle inequality with exponentially large probability under minimal assumptions insuring the existence of all objects.

研究の動機と目的

• 損失関数が同時に Lipschitz かつ凸である場合に、ERM および minmax MOM 評価関数の推定および過剰リスク境界を導出すること。
• 先行研究で用いられたグローバルな Bernstein 条件を、局所的仮定に緩和することで、線形回帰における非有界設計を含むモデルへの適用可能性を向上させること。
• 設計のモーメント仮定のみを満たす場合に minmax MOM 評価関数が最適な収束率を達成することを示すこと。また、入力および出力の両方の外れ値に対してもロバストであること。
• 局所 Bernstein 条件を必要としない minmax MOM 評価関数の分析を行い、最小限の仮定のもとで指数的逸脱境界を達成すること。

提案手法

• 先行研究で用いられたグローバル条件に代わる局所 Bernstein 条件を提案し、重尾設計を有する線形回帰などのモデルへのより広範な適用可能性を可能にする。
• minmax MOM フレームワークを用いて、外れ値に対してロバストであり、設計の弱いモーメント仮定のもとで最適な収束率を達成する推定量を構築する。
• 集中不等式およびモーメントに基づく議論を用いて、設計のサブガウス型またはモーメント条件および出力に関する弱い仮定のもとでリスク境界を導出する。
• 損失関数の凸性およびLipschitz性を活用し、2次テイラー展開および局所的曲率解析を用いて過剰リスクを制御する。
• 関数差の制御が可能な集合 $ A $ を導入し、Hölder および Markov 不等式を用いて $ A $ 外部の寄与をバインドすることで安定性を保証する。
• 局所 Bernstein 条件が成立しない場合であっても、モーメントの存在および損失関数の構造にのみ依存して、過剰リスクの指数的逸脱境界を確立する。

実験結果

リサーチクエスチョン

• RQ1 グローバルな Bernstein 条件の代わりに局所 Bernstein 条件を用いる場合に、出力に関する弱い仮定のもとで ERM の推定および過剰リスク境界を導出可能か？
• RQ2 設計のモーメント仮定のみを満たす場合に、サブガウス型または有界性条件を仮定しない minmax MOM 評価関数の性能はいかがなものか？
• RQ3 局所 Bernstein 条件を放棄した場合に、minmax MOM 評価関数は最適な収束率および指数的逸脱境界を維持できるか？
• RQ4 本フレームワークは、入力および出力の両方に外れ値を含むデータセットに対しても性能劣化なしに処理できるか？
• RQ5 本アプローチは、小球仮定を満たさない局所化された基底の線形スパンのような非パラメトリックモデルに適用可能か？

主な発見

• ERM は局所 Bernstein 条件のもとで推定および過剰リスク境界を達成し、グローバルな曲率仮定の必要性を緩和することで、非有界設計を有する線形回帰への応用を可能にする。
• minmax MOM 評価関数は、設計のモーメント仮定のみを満たす場合に最適な収束率を達成し、サブガウス型または有界性条件を必要としない。
• minmax MOM 評価関数は、入力および出力の両方の外れ値に対してもロバストであり、データの一部が汚染された場合でも性能を維持する。
• 局所 Bernstein 条件が満たされない場合であっても、minmax MOM 評価関数の過剰リスク境界は、指数的に大きな確率で確立される。
• 本フレームワークは、小球仮定を満たさない局所化された基底の線形スパンのような非パラメトリックモデルにも適用可能であり、MOMに基づく手法の適用範囲を拡張する。
• 本分析は小球仮定に依存しないため、従来の MOM に基づくアプローチよりも広いクラスの学習問題に適用可能である。