[論文レビュー] On the Hardness of Robust Classification

Pascale Gourdeau, Varun Kanade+2 more|arXiv (Cornell University)|Sep 12, 2019

Adversarial Robustness in Machine Learning被引用数 12

ひとこと要約

この論文は、敵対的攻撃が1ビットでさえも変更可能な状況下で、分布フリーなPAC設定においてロバストな機械学習が不可能であることを示す、計算的および標本複雑性の根本的障壁を確立している。さらに、単調な論理積（conjunctions）は、敵対者がO(log n)ビットの変更に制限される場合にのみロバストに学習可能であることが示され、外部の仮定やモデルに依存しない、新たな直接的証明が提示されている。

ABSTRACT

It is becoming increasingly important to understand the vulnerability of machine learning models to adversarial attacks. In this paper we study the feasibility of robust learning from the perspective of computational learning theory, considering both sample and computational complexity. In particular, our definition of robust learnability requires polynomial sample complexity. We start with two negative results. We show that no non-trivial concept class can be robustly learned in the distribution-free setting against an adversary who can perturb just a single input bit. We show moreover that the class of monotone conjunctions cannot be robustly learned under the uniform distribution against an adversary who can perturb $ω(\log n)$ input bits. However if the adversary is restricted to perturbing $O(\log n)$ bits, then the class of monotone conjunctions can be robustly learned with respect to a general class of distributions (that includes the uniform distribution). Finally, we provide a simple proof of the computational hardness of robust learning on the boolean hypercube. Unlike previous results of this nature, our result does not rely on another computational model (e.g. the statistical query model) nor on any hardness assumption other than the existence of a hard learning problem in the PAC framework.

研究の動機と目的

• 計算学習理論の観点から、標本複雑性と計算複雑性に注目して、ロバストな学習の可能性を調査すること。
• 分布フリーな設定および一様分布のような特定の分布下で、ロバストな学習が可能かどうかを特定すること。
• 単調な論理積が依然としてロバストに学習可能となる最大の摂動強度（ビット反転の数として）を特定すること。
• 統計的クエリモデルや追加の困難性仮定に依存しない、ロバストな学習の計算的困難性に対する新たな自己完結的証明を提供すること。

提案手法

• 多項式的標本複雑性とチューリング計算可能アルゴリズムを備えたロバストな学習可能性を、計算学習理論を用いて定義する。
• 正確なボール内リスク（R^E_ρ）と定数のボール内リスク（R^C_ρ）という2つのリスク定義を導入し、ロバスト性の異なる解釈を捉える。
• 敵対的攻撃者が1ビットの入力変更を許可される場合、分布フリー設定ではいかなる非自明な概念クラスに対してもロバストな学習が不可能であることを証明する。
• メジャリティ関数と誤り訂正符号（例：BCH符号）を用いた変換を構築し、ロバスト性が保たれる高次元空間への概念クラスの埋め込みを実現する。
• 基本的な概念クラスのPAC学習問題を、変換後の空間におけるk-ロバスト学習問題に還元し、還元を用いて計算的困難性を確立する。
• シミュレーションの議論を用いる：もし変換後の空間でロバストな学習が効率的に行えるならば、元の空間でもPAC学習が効率的に行えることになり、既知の困難性結果と矛盾する。

実験結果

リサーチクエスチョン

• RQ1 敵対的攻撃者が1つの入力ビットを変更できる場合、分布フリーなPAC設定において、いかなる非自明な概念クラスもロバストに学習可能か？
• RQ2 一様分布下で、単調な論理積のクラスはどのような条件下でロバストに学習可能か？
• RQ3 敵対的攻撃者が行える最大のビット摂動数は何か？ その条件下でも単調な論理積のロバストな学習が可能である。
• RQ4 統計的クエリモデルや外部の困難性仮定に依存しない、ロバストな学習の計算的困難性に対する直接的証明は存在するか？

主な発見

• 敵対的攻撃者が1つの入力ビットを変更できる場合、分布フリーなPAC設定ではいかなる非自明な概念クラスに対してもロバストな学習は不可能である。
• 敵対的攻撃者がω(log n)個の入力ビットを変更できる場合、一様分布下で単調な論理積のクラスはロバストに学習不可能である。
• 敵対的攻撃者がO(log n)ビットの摂動に制限される場合、一様分布を含む一般の分布クラス下でも、単調な論理積はロバストに学習可能である。
• 統計的クエリモデルや追加の仮定に依存せず、PACフレームワーク内での困難な学習問題の存在にのみ依存する、ロバストな学習の計算的困難性に対する新たな直接的証明が提示された。
• BCH符号のような誤り訂正符号の構成を用いて入力空間を埋め込む場合、ロバストな学習の標本複雑性は多項式的であり、摂動予算kに依存しない。
• 概念クラスのロバストな学習が計算的に困難であることは、対応する基本クラスがPAC学習に困難であることにのみ依存し、両者の問題の間にはタイトな関係が確立されている。