[論文レビュー] Ensemble Robustness and Generalization of Stochastic Deep Learning Algorithms

Tom Zahavy, Bingyi Kang+4 more|arXiv (Cornell University)|Feb 7, 2016

Adversarial Robustness in Machine Learning参考文献 24被引用数 10

ひとこと要約

本稿は、確率的深層学習アルゴリズムの一般化性能を説明するための新しい理論的枠組みとして、アンサンブルロバストネスを導入する。学習アルゴリズムが敵対的摂動に対する平均感受性が有界であれば、その一般化性能が良好であることを証明し、MNIST上で7つの深層学習アルゴリズムを用いたシミュレーションによりこれを実証した。その結果、アンサンブルロバストネスがより高い手法は、低いテスト誤差を達成した。

ABSTRACT

The question why deep learning algorithms generalize so well has attracted increasing research interest. However, most of the well-established approaches, such as hypothesis capacity, stability or sparseness, have not provided complete explanations (Zhang et al., 2016; Kawaguchi et al., 2017). In this work, we focus on the robustness approach (Xu & Mannor, 2012), i.e., if the error of a hypothesis will not change much due to perturbations of its training examples, then it will also generalize well. As most deep learning algorithms are stochastic (e.g., Stochastic Gradient Descent, Dropout, and Bayes-by-backprop), we revisit the robustness arguments of Xu & Mannor, and introduce a new approach, ensemble robustness, that concerns the robustness of a population of hypotheses. Through the lens of ensemble robustness, we reveal that a stochastic learning algorithm can generalize well as long as its sensitiveness to adversarial perturbations is bounded in average over training examples. Moreover, an algorithm may be sensitive to some adversarial examples (Goodfellow et al., 2015) but still generalize well. To support our claims, we provide extensive simulations for different deep learning algorithms and different network architectures exhibiting a strong correlation between ensemble robustness and the ability to generalize.

研究の動機と目的

• 深層学習アルゴリズムが高次元かつ確率的であるにもかかわらず、なぜ一般化性能が優れているのかという理論的理解のギャップを埋めるため。
• 決定的アルゴリズムに限らない、確率的深層学習アルゴリズムへのロバストネス-一般化の関係の拡張。
• ランダム化されたアルゴリズムが生成する仮説分布全体のロバストネスを捉える新しい特徴量「アンサンブルロバストネス」を提案するため。
• 異なる深層学習アーキテクチャーやアルゴリズムにおいて、アンサンブルロバストネスが一般化性能を予測できることを実験的に検証するため。

提案手法

• 確率的学習アルゴリズムから抽出された仮説の、訓練データ上の敵対的摂動に対する平均感受性としてアンサンブルロバストネスを定義する。
• 理論的に、有界な平均感受性（アンサンブルロバストネス）が、高確率での一般化性能を意味することを証明する（定理1）。
• 1次近似を用いて効率的に敵対的サンプルを推定する：$\Delta s_i \in \arg\max_{\|\Delta s_i\| \leq r} \ell(s_i) + \langle \nabla\ell_{s_i}(s), \Delta s_i \rangle$。
• 10回のランダム実行におけるクリーンサンプルと敵対的サンプルの損失差の平均として、経験的アンサンブルロバストネスを計算する：$\bar{\epsilon}_{\text{emp}} = \frac{1}{T} \sum_{t=1}^T \max_i |\ell(\mathcal{A}^{(t)}_{\mathbf{s}}, s_i) - \ell(\mathcal{A}^{(t)}_{\mathbf{s}}, s_i + \Delta s_i)|$。
• MNISTを用いて、3つのネットワークアーキテクチャで7つのアルゴリズム（SGD、ドロップアウト、敵対的訓練の変種）を評価する。
• 経験的アンサンブルロバストネスとテスト誤差を比較し、提案された理論の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 アンサンブルロバストネスは、確率的深層学習アルゴリズムにおける一般化性能の信頼できる予測子として機能するか？
• RQ2 仮説の敵対的摂動に対する平均感受性は、深層ネットワークにおける一般化とどのように関係するか？
• RQ3 なぜ敵対的訓練やドロップアウトのような特定のアルゴリズムが一般化性能に優れるのか。アンサンブルロバストネスはその成功を説明できるか？
• RQ4 経験的アンサンブルロバストネスは、異なる深層学習アルゴリズムの一般化性能を比較・順位付けするためにどの程度利用可能か？

主な発見

• 敵対的訓練手法（例：$\ell_\infty$、$\ell_2$、$\ell_1$）は、すべてのネットワークアーキテクチャにおいて、アンサンブルロバストネスの経験的値（$\bar{\epsilon}$）が、アンサンブルロバストネスがより低い。
• ネットワークIでは、$\ell_\infty$敵対的訓練が最も低いテスト誤差（0.65%）を達成し、次いで$\ell_2$（0.66%）、$\ell_1$（0.67%）の順で、それぞれ$\bar{\epsilon}$の値が最小であった。
• ドロップアウトを組み込んだ手法（SGD+ドロップアウト、PS+ドロップアウト）は、非ドロップアウト対応手法よりも低いテスト誤差（ネットワークIIIでは1.08%および1.89%）と$\bar{\epsilon}$を示し、アンサンブルロバストネスによる説明を支持した。
• 経験的アンサンブルロバストネスはテスト性能と強く相関している：すべてのネットワークタイプおよび摂動の大きさにおいて、$\bar{\epsilon}$が低い手法は一貫して低いテスト誤差を示した。
• 結果は定理1の実験的妥当性を裏付けた：摂動に対する平均感受性が有界な確率的アルゴリズムは、低いテスト誤差と$\bar{\epsilon}$を示し、一般化性能が優れている。
• アンサンブルロバストネスはドロップアウトの成功を説明できる：多様でロバストな仮説の集合を生成することで、入力摂動に対する平均感受性が低下し、結果として一般化性能が向上する。