[論文レビュー] Beyond Perturbations: Learning Guarantees with Arbitrary Adversarial Test Examples

Shafi Goldwasser, Adam Tauman Kalai+2 more|arXiv (Cornell University)|Jul 10, 2020

Machine Learning and Algorithms被引用数 4

ひとこと要約

この論文は、任意の敵対的選択されたテスト例に対して、有界VC次元のクラスに対して一般化保証を保証する、伝達的学習アルゴリズムを導入する。クラスCの有界VC次元に対する経験的リスク最小化（ERM）を活用することで、テストデータが無制限の白ボックス敵対的攻撃者によって選ばれた場合でも、低誤差と低拒否率を達成する。これは、摂動に基づく仮定を超えて、このような設定に対して初めて非自明な保証を提供するものである。

ABSTRACT

We present a transductive learning algorithm that takes as input training examples from a distribution P and arbitrary (unlabeled) test examples, possibly chosen by an adversary. This is unlike prior work that assumes that test examples are small perturbations of P. Our algorithm outputs a selective classifier, which abstains from predicting on some examples. By considering selective transductive learning, we give the first nontrivial guarantees for learning classes of bounded VC dimension with arbitrary train and test distributions—no prior guarantees were known even for simple classes of functions such as intervals on the line. In particular, for any function in a class C of bounded VC dimension, we guarantee a low test error rate and a low rejection rate with respect to P. Our algorithm is efficient given an Empirical Risk Minimizer (ERM) for C. Our guarantees hold even for test examples chosen by an unbounded white-box adversary. We also give guarantees for generalization, agnostic, and unsupervised settings.

研究の動機と目的

• 訓練データとは小さな摂動でないテスト例が与えられた場合の機械学習における一般化保証の欠如に対処する。
• 標準的な摂動仮定を超えて、任意の、おそらく敵対的なテスト分布に対する理論的保証を提供する。
• 不確実な例に対して予測を控える選択的分類器を出力する効率的なアルゴリズムを開発し、低誤差と低拒否率を保証する。
• 敵対的テストデータ下でのアグノスティック、非教師あり、一般化設定へ保証を拡張する。
• 直線上の区間のような単純な関数クラスに対して、任意のテスト分布下で、初めて非自明な誤差と拒否率の境界を提供することで、文献における重要なギャップを埋める。

提案手法

• 訓練データが分布Pに従う伝達的学習フレームワークを定式化し、テスト例が任意であり、敵対的に選ばれる可能性があることを想定する。
• 不確実とみなされる例に対して予測を控える選択的分類器を設計し、敵対的入力下でのリスクを低減する。
• 分類器の効率的学習のためのコアサブルーチンとして、関数クラスCの経験的リスク最小化（ERM）を用いる。
• クラスCの有界VC次元を活用して、テスト例が敵対的であっても成り立つ一般化境界を導出する。
• 訓練分布Pに関して、テスト誤差と拒否率を同時に束縛するために伝達的推論を適用する。
• テスト入力が白ボックス敵対者によって制御される状況でも保証を証明し、摂動の大きさに制限を設けない。

実験結果

リサーチクエスチョン

• RQ1 標準的な小さな摂動仮定を超えて、任意の敵対的選択されたテスト例に対して一般化保証を提供することは可能か？
• RQ2 選択的学習設定において、依然として低誤差と低拒否率を保証できるような、テストデータに対する最小限の仮定は何か？
• RQ3 テストデータが敵対的である場合に、アグノスティックおよび非教師あり学習の場面へ一般化境界を拡張することは可能か？
• RQ4 任意のテスト分布下で、直線上の区間のような単純な関数クラスに対して、非自明な誤差と拒否率の保証を達成することは可能か？
• RQ5 無制限の敵対的攻撃者によって選ばれたテスト例に対しても、強い理論的保証を維持する効率的なアルゴリズムを設計するにはどうすればよいか？

主な発見

• 提案されたアルゴリズムは、テスト例が任意であり、かつ無制限の白ボックス敵対者によって選ばれる可能性がある状況において、有界VC次元クラスの学習に対して、初めて非自明な一般化保証を提供する。
• 有界VC次元のクラスCに属する任意の関数に対して、アルゴリズムは訓練分布Pに関して低テスト誤差率と低拒否率を保証する。
• クラスCの経験的リスク最小化（ERM）が利用可能であれば、アルゴリズムは効率的である。
• 保証はアグノスティック、非教師あり、および標準的一般化設定へ拡張され、敵対的テストデータ下での理論的学習の範囲を拡大する。
• テスト例が訓練データの摂動でない場合でも、プローブ可能な性能境界を達成し、先行研究における主要な制限を解消する。
• 特に選択的分類において、敵対的テスト時条件の下でのロバストな学習への基盤的ステップを確立する。