[論文レビュー] Voting based ensemble improves robustness of defensive models

Devvrit Devvrit, Minhao Cheng+2 more|arXiv (Cornell University)|Nov 28, 2020

Adversarial Robustness in Machine Learning参考文献 42被引用数 12

ひとこと要約

本論文では、硬标签多数決を用いたアンサンブル手法を提案し、事前に学習された防御モデルを多様性をもって組み合わせることで、敵対的に訓練されたモデルの頑健性を著しく向上させる。この手法は、追加データを一切使用せずに、ℓ∞ノイズが 8/255 の CIFAR-10 において 59.8% の最先端の頑健精度を達成し、個々のモデルや従来のアンサンブル手法を上回る性能を示した。

ABSTRACT

Developing robust models against adversarial perturbations has been an active area of research and many algorithms have been proposed to train individual robust models. Taking these pretrained robust models, we aim to study whether it is possible to create an ensemble to further improve robustness. Several previous attempts tackled this problem by ensembling the soft-label prediction and have been proved vulnerable based on the latest attack methods. In this paper, we show that if the robust training loss is diverse enough, a simple hard-label based voting ensemble can boost the robust error over each individual model. Furthermore, given a pool of robust models, we develop a principled way to select which models to ensemble. Finally, to verify the improved robustness, we conduct extensive experiments to study how to attack a voting-based ensemble and develop several new white-box attacks. On CIFAR-10 dataset, by ensembling several state-of-the-art pre-trained defense models, our method can achieve a 59.8% robust accuracy, outperforming all the existing defensive models without using additional data.

研究の動機と目的

• 事前学習済みの頑健モデルをアンサンブル化することで、個々のモデルを上回る敵対的頑健性を達成できるかどうかを調査すること。
• 特に強力なホワイトボックス攻撃下において、効果的なアンサンブル戦略の欠如に対処すること。
• 最適なモデルのサブセットをプールから選択するための原理的で一貫した手法を開発すること。
• 新しく開発されたホワイトボックス攻撃および既存の攻撃に対して、多数決アンサンブルの頑健性を評価すること。

提案手法

• ソフトラベル融合やログィット平均化の代わりに、複数の事前学習済みの頑健モデルに対して硬标签多数決を用いる。
• 実験的に、ベースモデルの損失関数の多様性がアンサンブルの成功に不可欠であることを検証する。
• 小さなデータサブセットでの敵対的攻撃性能に基づいて、候補アンサンブルをランク付けするモデル選択アルゴリズムを提案する。
• 強力な攻撃（例：WA-autoattack、WA-FAB）における敵対的精度に基づくヒューリスティックスコアを用い、7つのモデルから最良の3つのモデルを選択する。
• 多数決アンサンブルを標的とした新たなホワイトボックス攻撃手法（C&W over 2、LS-autoattack）を導入し、頑健性を厳密に評価する。
• 計算コストを抑えるために、予測の精度を維持しつつも、予測力に優れる小さなランダムサブセット（r ≈ 4500点）を用いてアンサンブルの評価とランク付けを行う。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの頑健モデルの多数決アンサンブルは、個々のモデルよりも高い頑健精度を達成できるか？
• RQ2 敵対的攻撃の文脈において、アンサンブルの成功を左右する要因は何か？
• RQ3 プールから最適なモデルサブセットを自動的に選択するにはどうすればよいか？
• RQ4 既存および新規のホワイトボックス攻撃は、多数決ベースのアンサンブルに対してどれほど効果的か？

主な発見

• 硬标签多数決アンサンブルは、追加データなしで、ℓ∞ノイズが 8/255 の CIFAR-10 において 59.8% の頑健精度を達成し、すべての個々のモデルや従来の防御手法を上回った。
• MART、TRADES+SAT、TRADES-AWP から構成される最良のアンサンブルは、WA-autoattack および WA-FAB においてそれぞれ 59.84% の精度を示し、強い頑健性を確認した。
• モデル選択アルゴリズムは、WA-autoattack と WA-FAB それぞれで Kendall’s τ が +0.53 および +0.503 を示し、予測スコアと実際の頑健性の間に中程度の正の相関があることを示した。
• 最も頑健でない6つのモデル（最も頑健な TRADES-AWP を除く）から構成されるアンサンブルは、ベースモデルの最高性能 54.86% から 59.2% に向上させ、4.34% の改善を達成した。これは多様性の価値を示している。
• 提案されたアンサンブルは、LS-autoattack や C&W over 2 といった複数の強力な攻撃に対しても頑健であり、適応的ホワイトボックス攻撃に対して耐性があることを確認した。
• 本研究では、ソフトラベルアンサンブル手法が強力な攻撃では失敗する一方で、損失関数の多様性を持つ硬标签多数決がより頑健な代替手段であることが明らかになった。