[論文レビュー] VC Classes are Adversarially Robustly Learnable, but Only Improperly

Omar Montasser, Steve Hanneke+1 more|arXiv (Cornell University)|Feb 12, 2019

Adversarial Robustness in Machine Learning参考文献 21被引用数 43

ひとこと要約

本論文は、有限のVC次元クラスの任意のクラスが、不正な学習規則を用いることで敵対的摂動下で堅牢にPAC学習可能である一方で、いくつかの有限VCクラスは任意の適切な規則では堅牢にPAC学習できないことを示す。

ABSTRACT

We study the question of learning an adversarially robust predictor. We show that any hypothesis class $\mathcal{H}$ with finite VC dimension is robustly PAC learnable with an improper learning rule. The requirement of being improper is necessary as we exhibit examples of hypothesis classes $\mathcal{H}$ with finite VC dimension that are not robustly PAC learnable with any proper learning rule.

研究の動機と目的

• 指定された敵に対して、与えられた仮説クラスについて、敵対的に堅牢なPAC学習が可能となる条件を特徴づける。
• 堅牢な設定における適切な学習と不適切な学習を区別し、不適切な学習が必要となる場合を特定する。
• VC仮定の下で、堅牢な学習のサンプル複雑度に関する有限サンプルおよび漸近的境界を提供する。

提案手法

• 敵対者写像Uの下で堅牢リスクを定式化し、realizableおよびagnostic設定における堅牢PAC学習を定義する。
• 負の結果を示す：任意の適切な規則では堅牢にPAC学習できない有限VCクラスが存在する。
• 正の結果を証明する：任意の有限VCクラスは、不適切な学習規則を用いて堅牢にPAC学習可能であり、サンプル複雑度の境界は双対VC次元vc*(H)に結びつく。
• ゼロの経験的堅牢損失を達成し、堅牢な学習者をもたらすサンプル圧縮/ブースティングベースの学習手法を開発する。
• agnosticからrealizableへの還元を用いて、realizable結果をagnostic設定へ拡張する。

実験結果

リサーチクエスチョン

• RQ1 有限VC次元の仮説クラスは、敵対的摂動下で堅牢にPAC学習可能になるのか、適切な学習で十分なのか？
• RQ2 堅牢PAC学習における適切な学習の制限は何か、不適切な学習はそれを克服できるか？
• RQ3 敵対的頑健性の下で、サンプル複雑度と境界はVC(H)および双対VC次元vc*(H)にどのように依存するか？
• RQ4 agnosticからrealizableへの還元は、堅牢な学習設定へも適用できるか？
• RQ5 有限VCクラスの堅牢な一般化を実現する建設的な学習手順とは何か？

主な発見

• vc(H) ≤ 1 を満たす有限VCクラスで、ある敵に対して任意の適切な学習規則の下では堅牢にPAC学習できないものが存在する。
• 任意の敵Uと任意の有限VCクラスHについて、vc(H)に指数的に依存する可能性があるものの、Hを堅牢にPAC学習する不適切な学習規則が存在する。
• 有限VC次元は不適切な堅牢学習可能性を保証するのに十分であり、圧縮/ブースティング技術を拡張したRERM様のアプローチを通じて堅牢な一般化を可能にする。
• サンプル圧縮アプローチを用いて realizable な堅牢学習可能性の境界を得る。境界は vc(H) と双対VC次元 vc*(H) に依存する。
• agnostic設定では、 realizable への還元から堅牢学習可能性が得られ、有限サンプル保証が得られ、境界は vc(H) および vc*(H) に比例してスケールする。
• 圧縮ベースの議論は構成的な手続きを提供し、堅牢学習可能性がいくつかのケースで不適切な学習を必要することを示唆する。