[論文レビュー] Ensemble Robustness of Deep Learning Algorithms

Jiashi Feng, Tom Zahavy+3 more|arXiv (Cornell University)|Feb 7, 2016

Adversarial Robustness in Machine Learning参考文献 15被引用数 4

ひとこと要約

この論文は、深層学習アルゴリズムの一般化性能を説明するための新しいフレームワークとして、アンサンブルロバストネスを導入する。実験では、確率的学習アルゴリズムが、その敵対的摂動に対する平均感受性が有界である、あるいは同値的に、その性能の分散が低い場合に一般化がうまくいくことを示している。これは、7つの深層学習アルゴリズムとアーキテクチャを対象としたシミュレーションで裏付けられている。

ABSTRACT

The question why deep learning algorithms perform so well in practice has attracted increasing research interest. However, most of well-established approaches, such as hypothesis capacity, robustness or sparseness, have not provided complete explanations, due to the high complexity of the deep learning algorithms and their inherent randomness. In this work, we introduce a new approach~ extendash~ensemble robustness~ extendash~towards characterizing the generalization performance of generic deep learning algorithms. Ensemble robustness concerns robustness of the \emph{population} of the hypotheses that may be output by a learning algorithm. Through the lens of ensemble robustness, we reveal that a stochastic learning algorithm can generalize well as long as its sensitiveness to adversarial perturbation is bounded in average, or equivalently, the performance variance of the algorithm is small. Quantifying ensemble robustness of various deep learning algorithms may be difficult analytically. However, extensive simulations for seven common deep learning algorithms for different network architectures provide supporting evidence for our claims. Furthermore, our work explains the good performance of several published deep learning algorithms.

研究の動機と目的

• 深層学習アルゴリズムが高次元で固有のランダムネスを有するにもかかわらず、なぜ一般化がうまくいくのかという不完全な理解を解消すること。
• 従来の仮説容量やスパarsityといった概念を超えた、一般化性能を特徴づける新しい理論的枠組みを構築すること。
• 学習アルゴリズムが生成する仮説の集団のロバストネスが、その一般化能力とどのように関係するかを調査すること。
• さまざまな公開済みの深層学習アルゴリズムの強力な実験的性能を統一的に説明すること。

提案手法

• 確率的学習アルゴリズムが出力しうる仮説の全集団におけるロバストネスの尺度として、アンサンブルロバストネスを提案する。
• 一般化のための核心的条件を定義する：仮説集団全体にわたる敵対的摂動に対する平均感受性が有界であること。
• 平均感受性が有界であることと、学習アルゴリズムの性能分散が低いことの等価性を確立する。
• 理論的主張の妥当性を検証するために、7つの一般的な深層学習アルゴリズムと複数のネットワークアーキテクチャを用いた広範なシミュレーションを実施する。
• 摂動下での性能の分散を通じてアルゴリズムの一般化行動を分析し、実証的評価を用いる。

実験結果

リサーチクエスチョン

• RQ1 深層学習アルゴリズムが生成する仮説の集団のロバストネスは、その一般化性能とどのように関係するか？
• RQ2 敵対的摂動に対する平均感受性が有界であることは、確率的深層学習アルゴリズムがなぜうまく一般化するのかを説明できるか？
• RQ3 仮説間での性能分散が、深層学習モデルの一般化能力とどの程度相関するか？
• RQ4 提案されたアンサンブルロバストネスフレームワークは、既存の深層学習アルゴリズムの成功をどのように説明できるか？

主な発見

• アンサンブルロバストネスは、仮説容量やスパarsityといった従来の尺度とは独立した、深層学習における一般化を理解するための新しい理論的レンズを提供する。
• 確率的学習アルゴリズムが、仮説集団全体にわたる敵対的摂動に対する平均感受性が有界であれば、一般化がうまくいく。
• 学習アルゴリズムの性能分散が低いことは、平均感受性が有界であることと同値であり、一般化の実用的代理指標を提供する。
• 7つの深層学習アルゴリズムとさまざまなアーキテクチャを対象とした広範なシミュレーションが、提案された理論的主張を支持している。
• このフレームワークは、既存の深層学習アルゴリズムの強力な実験的性能を、それらの内在的なアンサンブルロバストネスを通じて統一的に説明できる。