[論文レビュー] Adversarial Examples from Cryptographic Pseudo-Random Generators

Sébastien Bubeck, Yin Tat Lee+2 more|arXiv (Cornell University)|Nov 15, 2018

Cryptography and Data Security参考文献 4被引用数 18

ひとこと要約

この論文は、標準的な二次剰余性仮定の下で、任意の多項式時間アルゴリズムによって実際に学習不能であるが、最大に頑健でかつ計算効率の良い分類器を構築する二値分類タスクを提示する。トレイルド・擬似乱数生成子（特にBlum–Blum–Shub構成）を活用することで、頑健な分類器が存在し、かつ計算可能であっても、それを効率的に学習することは計算的に不可能であることを示しており、これは敵対的頑健性が根本的に計算の難解さに起因する可能性があるという強力な証拠を提供する。

ABSTRACT

In our recent work (Bubeck, Price, Razenshteyn, arXiv:1805.10204) we argued that adversarial examples in machine learning might be due to an inherent computational hardness of the problem. More precisely, we constructed a binary classification task for which (i) a robust classifier exists; yet no non-trivial accuracy can be obtained with an efficient algorithm in (ii) the statistical query model. In the present paper we significantly strengthen both (i) and (ii): we now construct a task which admits (i') a maximally robust classifier (that is it can tolerate perturbations of size comparable to the size of the examples themselves); and moreover we prove computational hardness of learning this task under (ii') a standard cryptographic assumption.

研究の動機と目的

• 敵対的頑健性が根本的に計算の難解さによって制限される可能性があることを示すこと。
• 最大に頑健な分類器が存在し、かつ計算効率が良いが、多項式時間では学習できない分類タスクを構築すること。
• 統計的クエリモデルを標準的な暗号的仮定（二次剰余性）に置き換えることで、先行研究を強化すること。
• 既知の効率的分類器が存在しても、それを頑健に学習することは、広く受け入れられた仮定のもとで計算的に不可能であることを示すこと。
• 頑健な分類器の存在と、その学習の計算可能性の間の違いを明確にすること。

提案手法

• 著者らは、特定のトレイルド擬似乱数生成子（特にBlum–Blum–Shub）を用いて、一方の分布が一様で、もう一方が鍵付きのPRG出力であるような分布のペアを構築する。
• 正例がPRG出力、負例が{0,1}^n上の一様分布である分類タスクを定義し、ラベルはダミー座標を介して公開される。
• 鍵の核心的洞察は、鍵（Nの因数分解）を用いれば分類器を効率的に計算可能であるが、鍵がなければPRG出力と一様分布を区別することは計算的に困難であるということである。
• この構成により、鍵なしの多項式時間学習アルゴリズムは、二次剰余性仮定のもとで、計算的不可識別性のため、ランダム推測と同程度の精度にしか達しない。
• 彼らは計算的統計的距離を形式化し、鍵なしの効率的アルゴリズムに対して、2つの分布間の距離が無視できるほど小さいことを示している。
• 体積の議論により、分布のサポートが十分に分離可能であるため、最大に頑健な分類器が存在することが保証される。

実験結果

リサーチクエスチョン

• RQ1 最大に頑健な分類器が存在するが、効率的学習アルゴリズムが非自明な頑健な精度に到達できない場合があるか？
• RQ2 敵対的例の学習の計算の難解さは、データやモデルの制限ではなく、本質的な暗号的仮定に起因するのか？
• RQ3 分類器が効率的に計算可能であり、かつ標準仮定のもとで多項式時間内に実際に学習不能であることは可能か？
• RQ4 頑健な分類器が存在することは、それを効率的に学習可能であることを意味するのか、それとも計算的に不可能である可能性があるのか？
• RQ5 トレイルド擬似乱数生成子を用いて、広く受け入れられた暗号的仮定のもとで、実際に難しい敵対的例を構築できるか？

主な発見

• この分類タスクでは、サイズΩ(√n)の摂動に耐える最大に頑健な分類器が存在し、これは入力空間の直径に一致する。
• 鍵（すなわちNの因数分解）を用いることで、分類器は効率的に計算可能であり、実装可能である。
• 二次剰余性仮定のもとでは、いかなる多項式時間学習アルゴリズムも、このタスクで非自明な頑健な精度に到達できない。
• このタスクの標本複雑度はO(n)であり、問題がデータ制限によって制限されていないことを示している。
• 任意の十分に小さなε > 0に対し、同じ仮定のもとで、いかなる多項式時間アルゴリズムの頑健な精度も、ランダム推測とほぼ同じになる。
• この構成により、頑健な分類器の存在が、その効率的学習可能性を意味するわけではないことが示され、敵対的頑健性の根本的障壁として計算の難解さが強い証拠を提供する。