[論文レビュー] Improved Generalization Bounds for Robust Learning.

Idan Attias, Aryeh Kontorovich+1 more|arXiv (Cornell University)|Oct 4, 2018

Machine Learning and Algorithms参考文献 59被引用数 15

ひとこと要約

本稿では、入力ごとに最大k種類の破損が許容される敵対的設定におけるロバスト学習の一般化境界を改善する手法を提案する。学習者と敵の相互作用を1入力あたりk種類の破損が可能なゼロサムゲームとしてモデル化する。二値分類における先行研究の一般化境界O(1/ε⁴ log(|H|/δ))を、O(1/ε²(√(k·VC(H)) log^{3/2+α}(k·VC(H)) + log(1/δ)))に改善し、多値分類および回帰への拡張を実現。関数クラスにおけるk重最大値のファットシャッタリング次元およびラデマッハ複雑度の新しい解析を導入する。

ABSTRACT

We consider a model of robust learning in an adversarial environment. The learner gets uncorrupted training data with access to possible corruptions that may be effected by the adversary during testing. The learner's goal is to build a robust classifier, which will be tested on future adversarial examples. The adversary is limited to $k$ possible corruptions for each input. We model the learner-adversary interaction as a zero-sum game. This model is closely related to the adversarial examples model of Schmidt et al. (2018); Madry et al. (2017). Our main results consist of generalization bounds for the binary and multiclass classification, as well as the real-valued case (regression). For the binary classification setting, we both tighten the generalization bound of Feige, Mansour, and Schapire (2015), and are also able to handle infinite hypothesis classes. The sample complexity is improved from $O(\frac{1}{\epsilon^4}\log(\frac{|\mathcal{H}|}{\delta}))$ to $O\big(\frac{1}{\epsilon^2}(\sqrt{k \mathrm{VC}(\mathcal{H})}\log^{\frac{3}{2}+\alpha}(k\mathrm{VC}(\mathcal{H}))+\log(\frac{1}{\delta})\big)$ for any $\alpha > 0$. Additionally, we extend the algorithm and generalization bound from the binary to the multiclass and real-valued cases. Along the way, we obtain results on fat-shattering dimension and Rademacher complexity of $k$-fold maxima over function classes; these may be of independent interest. For binary classification, the algorithm of Feige et al. (2015) uses a regret minimization algorithm and an ERM oracle as a black box; we adapt it for the multiclass and regression settings. The algorithm provides us with near-optimal policies for the players on a given training sample.

研究の動機と目的

• 入力ごとに最大k回の破損が可能な敵対的破損下での一般化の課題に対処すること。
• Feigeら（2015）のO(1/ε⁴ log(|H|/δ))という既存の二値分類の一般化境界を改善し、サンプル複雑度を低減すること。
• ロバスト学習フレームワークを二値分類から多値分類および実数値（回帰）設定へ拡張すること。
• 敵対的破損下における関数クラスのk重最大値のファットシャッタリング次元およびラデマッハ複雑度を分析すること。

提案手法

• 学習者と敵の相互作用を、1入力あたりk回の破損に制限されたゼロサムゲームとしてモデル化する。
• Feige ら（2015）のレジレット最小化フレームワークを、ERMオракルをブラックボックスとして用いる形で、多値分類および回帰設定に適応する。
• 関数クラスのk重最大値のファットシャッタリング次元およびラデマッハ複雑度の洗練された解析を用いて、一般化境界を導出する。
• 二値分類に対して、O(1/ε²(√(k·VC(H)) log^{3/2+α}(k·VC(H)) + log(1/δ)))の新しいサンプル複雑度境界を導入する。
• k重破損下での仮説クラスの複雑度測度とロバスト一般化誤差の理論的関係を確立する。
• レジレット最小化フレームワークのアルゴリズム的適応により、与えられた訓練標本上で学習者および敵の近似的最適ポリシーを提供する。

実験結果

リサーチクエスチョン

• RQ1 Feige ら（2015）のO(1/ε⁴ log(|H|/δ))というロバスト二値分類の一般化境界を超えて改善可能か？
• RQ2 ロバスト学習フレームワークを二値分類から多値分類および回帰設定へ拡張する際、強い一般化保証を維持できるか？
• RQ3 敵対的破損下における関数クラスのk重最大値のファットシャッタリング次元およびラデマッハ複雑度は何か？
• RQ4 敵が1入力あたりk回の破損に制限される場合、ロバスト学習の最適サンプル複雑度は何か？
• RQ5 レジレット最小化アルゴリズムを、敵対的破損下の多値分類および回帰設定に適応させ、近似的最適ポリシーを提供できるか？

主な発見

• 二値分類の一般化境界が、O(1/ε⁴ log(|H|/δ))から任意のα > 0に対してO(1/ε²(√(k·VC(H)) log^{3/2+α}(k·VC(H)) + log(1/δ)))に改善された。
• 新しい境界は、有限および無限の仮説クラスの両方に対して有効であり、先行研究の制限を克服した。
• フレームワークは多値分類および回帰へ成功裏に拡張され、これらの設定における一般化境界が得られた。
• 本稿では、関数クラスのk重最大値に関するファットシャッタリング次元およびラデマッハ複雑度の新しい理論的結果を導出した。
• アルゴリズム的手法により、与えられた訓練標本上で学習者および敵の近似的最適ポリシーが得られた。
• 解析により、k重破損下での仮説クラスの複雑度は√(k·VC(H))および対数因子によって支配され、これが改善されたサンプル複雑度を形作ることが明らかになった。