[論文レビュー] On the Sample Complexity of Adversarial Multi-Source PAC Learning

Nikola Konstantinov, Elias Frantar+2 more|arXiv (Cornell University)|Feb 24, 2020

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 6

ひとこと要約

この論文は、半数未満のデータソースが改ざんされている場合に、敵対的マルチソースPAC学習が可能であることを確立しており、有限標本における一般化バウンドを提供するとともに、悪意あるソースが存在しても協力的なデータ共有を通じてロバストな学習が達成可能であることを示している。主な結果は、敵対的改ざんがあっても最適性能への収束を可能にする標本複雑性の上界である。

ABSTRACT

We study the problem of learning from multiple untrusted data sources, a scenario of increasing practical relevance given the recent emergence of crowdsourcing and collaborative learning paradigms. Specifically, we analyze the situation in which a learning system obtains datasets from multiple sources, some of which might be biased or even adversarially perturbed. It is known that in the single-source case, an adversary with the power to corrupt a fixed fraction of the training data can prevent PAC-learnability, that is, even in the limit of infinitely much training data, no learning system can approach the optimal test error. In this work we show that, surprisingly, the same is not true in the multi-source setting, where the adversary can arbitrarily corrupt a fixed fraction of the data sources. Our main results are a generalization bound that provides finite-sample guarantees for this learning setting, as well as corresponding lower bounds. Besides establishing PAC-learnability our results also show that in a cooperative learning setting sharing data with other parties has provable benefits, even if some participants are malicious.

研究の動機と目的

• 一定の割合のソースが敵対的に改ざんされている可能性がある複数の信頼できないデータソースからの学習問題を形式化すること。
• 単一ソースの場合には不可能であるのに対し、マルチソース設定においてロバストPAC学習が可能かどうかを調査すること。
• 標本複雑性の上界と下界を用いて、敵対的マルチソース学習の統計的難易度を同定すること。
• 誠実な参加者間での協力的データ共有が、悪意ある参加者が存在する状況でも明示的な利点をもたらすことを示すこと。
• 敵対的マルチソース学習とロバスト最適化、統計学、暗号技術との関連を確立すること。

提案手法

• 複数のソースからのi.i.d.データセットを想定する標準PACフレームワークにおいて、敵対的マルチソースPAC学習問題を形式化する。
• 一様収束とロバスト集約の原則を用いて、半数未満のソースが改ざんされている状況下での過剰リスクの一般化バウンドを導出する。
• すべてのデータを単純に統合してロバストな学習器を適用する方法は不十分である（定理2）ことを証明し、構造的なマルチソース処理の必要性を強調する。
• 過剰リスクの下界を確立する（定理3）し、敵対的影響力αに比例して収束が遅くなることが、弱い仮定のもとでも示される。
• VC次元と一様収束の性質を用いて、d ≥ 2 である非自明な仮説クラスに対して有効なバウンドを導出する。
• 導出されたバウンドを古典的なi.i.d.学習レートと比較し、ロバスト性がα/mに比例する遅延をもたらすことを示す。ここでmは1ソースあたりの標本数である。

実験結果

リサーチクエスチョン

• RQ1 一定の割合のソースが敵対的に改ざんされている状況下でも、マルチソース学習設定においてPAC学習が保たれるか？
• RQ2 一部の参加者が悪意を持っている場合でも、協力的学習設定において他の参加者とデータを共有することに明示的な利点があるか？
• RQ3 敵対的マルチソース設定下でのロバスト学習に必要な根本的な標本複雑性は何か？
• RQ4 なぜこの設定ではすべてのデータを単純に統合する方法がロバスト学習に不適切なのか？
• RQ5 ロバスト学習の収束速度は、ソース数、1ソースあたりの標本数、および改ざんされたソースの割合にどのように依存するか？

主な発見

• 一様収束性を持つ任意の仮説クラスに対して、敵対的マルチソースPAC学習は、改ざんされたソースが半数未満である限り可能である。
• 提案されたロバストな学習アルゴリズムは、データに改ざんがない場合に最適な一般化レートを達成でき、ロバスト性がわずかな統計的コストしかもたらさないことを示している。
• 過剰リスクの下界により、収束がα/mの要因で遅くなることが示され、ここでαは改ざんされたソースの割合、mは1ソースあたりの標本数である。
• ロバスト性による遅延は避けられない：無限に多くのソースがあっても、1ソースあたりの標本数mが増加しなければ収束は達成できない。
• 敵対的マルチソース設定における収束速度はΩ(√(d/Nm) + α/m)であり、これはi.i.i.d.レートΩ(1/Nm)よりも遅く、ロバスト性のコストを強調している。
• 下界は任意の非自明な仮説クラス（d ≥ 2）に対して成り立つため、統計的制限は本質的であり、学習が難しい問題に特有のものではないことが示されている。