[論文レビュー] Deep Neural Network Ensembles against Deception: Ensemble Diversity, Accuracy and Robustness

Ling Liu, Wenqi Wei+5 more|arXiv (Cornell University)|Aug 29, 2019

Adversarial Robustness in Machine Learning参考文献 23被引用数 7

ひとこと要約

この論文は、複数の多様性指標とコンSENSUS戦略を最適化することで、敵対的攻撃に対してより高い正確性と耐性を示す深層ニューラルネットワーク（DNN）アンサンブルフレームワークを提案する。投票または学習された統合を介して多様なDNNモデルを戦略的に組み合わせることで、アンサンブルはより高い正確性を達成し、敵対的摂動によるだましに耐えることができる。

ABSTRACT

Ensemble learning is a methodology that integrates multiple DNN learners for improving prediction performance of individual learners. Diversity is greater when the errors of the ensemble prediction is more uniformly distributed. Greater diversity is highly correlated with the increase in ensemble accuracy. Another attractive property of diversity optimized ensemble learning is its robustness against deception: an adversarial perturbation attack can mislead one DNN model to misclassify but may not fool other ensemble DNN members consistently. In this paper we first give an overview of the concept of ensemble diversity and examine the three types of ensemble diversity in the context of DNN classifiers. We then describe a set of ensemble diversity measures, a suite of algorithms for creating diversity ensembles and for performing ensemble consensus (voted or learned) for generating high accuracy ensemble output by strategically combining outputs of individual members. This paper concludes with a discussion on a set of open issues in quantifying ensemble diversity for robust deep learning.

研究の動機と目的

• アンサンブルの多様性が深層ニューラルネットワーク分類器の正確性と耐性にどのように寄与するかを調査すること。
• 一般化性能の向上と敵対的攻撃への耐性を高めるために、DNNアンサンブルにおける3つの多様性のタイプを特定・定量化すること。
• 多様なDNNアンサンブルを生成し、高精度な予測を実現するための効果的なコンセンサスメカニズムを提供するアルゴリズムのセットを開発すること。
• ロバストなディープラーニングにおける多様性の測定と活用に関する未解決の課題に対処すること。

提案手法

• DNN分類器におけるアンサンブルの多様性の3つのタイプ（誤差多様性、出力多様性、パラメータ多様性）を分類・分析する。
• 多様なDNNアンサンブルの作成を評価・誘導するための定量的多様性指標のセットを導入する。
• データシャッフル、モデル重み初期化、データオーグメンテーションなどのトレーニング戦略を用いて、アンサンブルメンバー間の多様性を促進する。
• 個々のDNNモデルからの予測を統合するための投票および学習された統合の両方のコンセンサス手法を適用する。
• 敵対的トレーニングと摂動テストを用いて、だましに対する耐性を評価する。
• 多様性指標とアンサンブル性能および敵対的耐性の関係を体系的に評価するフレームワークを提案する。

実験結果

リサーチクエスチョン

• RQ1 アンサンブルの多様性は、DNN分類器の正確性と耐性の向上とどのように相関するか？
• RQ2 DNNアンサンブルにおける3つの主要な多様性のタイプとは何か。それらはどのように測定され、最適化できるか？
• RQ3 多様性に基づくアンサンブル学習は、単一モデルと比較して、どれほど敵対的摂動攻撃に耐性を示すか？
• RQ4 投票と学習された統合の異なるコンセンサス戦略は、アンサンブルの性能と耐性にどのように影響するか？
• RQ5 ロバストなディープラーニングにおける多様性の定量化と活用に関する主な未解決課題は何か？

主な発見

• より高いアンサンブルの多様性は、誤差が均等に分布するようになり、全体のアンサンブル正確性を顕著に向上させる。
• 多様性最適化されたアンサンブルは、1つのモデルをだます摂動が、全体のアンサンブルをだますのを防ぐなど、敵対的攻撃に対して優れた耐性を示す。
• 複数の多様性指標を用いることで、アンサンブル内での補完的DNNモデルの系統的同定と強化が可能になる。
• 学習された統合手法は、モデル間の関係をよりよく捉えるため、一部の状況では単純な投票を上回る性能を示す。
• 本研究では、特に敵対的耐性に関連して、DNNアンサンブルにおける多様性の定義と測定に関する重要な未解決問題を同定した。
• 実験的結果から、多様なアンサンブルは標的の敵対的攻撃に対しても高い正確性を維持することが示され、だましに強いという特徴が顕著に現れた。