[論文レビュー] Enhancing Certifiable Robustness via a Deep Model Ensemble

Huan Zhang, Minhao Cheng+1 more|arXiv (Cornell University)|Oct 31, 2019

Adversarial Robustness in Machine Learning参考文献 38被引用数 10

ひとこと要約

本稿では、分類マージンの下界を最適化することで、個々の頑健モデルの重みを最適化する座標降下法を用いることで、深層ニューラルネットワークの証明可能頑健性を向上させる、新しいアンサンブル手法RobBoostを提案する。この手法は、単純平均や単一モデルの認証防御を上回り、MNISTおよびCIFAR-10で最先端の検証誤差とクリーン精度を達成する。

ABSTRACT

We propose an algorithm to enhance certified robustness of a deep model ensemble by optimally weighting each base model. Unlike previous works on using ensembles to empirically improve robustness, our algorithm is based on optimizing a guaranteed robustness certificate of neural networks. Our proposed ensemble framework with certified robustness, RobBoost, formulates the optimal model selection and weighting task as an optimization problem on a lower bound of classification margin, which can be efficiently solved using coordinate descent. Experiments show that our algorithm can form a more robust ensemble than naively averaging all available models using robustly trained MNIST or CIFAR base models. Additionally, our ensemble typically has better accuracy on clean (unperturbed) data. RobBoost allows us to further improve certified robustness and clean accuracy by creating an ensemble of already certified models.

研究の動機と目的

• 個々のモデルを上回る証明可能頑健性を達成するアンサンブル手法の開発。
• 敵対的攻撃に対して形式的頑健性保証を欠く既存のアンサンブル手法の限界の解消。
• 深層アンサンブルにおけるモデル重みを最適化し、分類マージンの下界を最大化することで、より強い頑健性認証を実現。
• 最適重み付けによる事前に認証済みモデルの結合が、単純平均よりも優れた頑健性と精度を達成することの実証。
• モデルを逐次的に訓練することで、現在のアンサンブルの弱みを是正する勾配ブースティングに類似した訓練設定へのフレームワークの拡張。

提案手法

• アンサンブルの分類マージンの下界を最大化する最適なアンサンブル重み付け問題を定式化し、認証頑健性の境界から導出される。
• 他の重みを固定したまま、各ベースモデルの重みを繰り返し最適化する座標降下法を用い、マージン下界を改善する。
• 線形緩和と双対性に基づく認証頑健性境界（例：Wong & Kolter, 2018）を適用し、アンサンブルの頑健性を効率的に検証可能にする。
• 各新しいモデルが現在のアンサンブルの検証誤差を最小化するように訓練される勾配ブースティングの変種を導入し、誤分類または脆弱な例に焦点を当てる。
• 凸な敵対的ポリトープ訓練を用いて、ℓ∞ノイズに対して認証可能な頑健性を持つ個々のベースモデルを生成する。
• MNISTおよびCIFAR-10上で、多様なアーキテクチャと特徴量サブサンプリング付きモデルを用い、一般化性能と頑健性の向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 認証可能なモデルのアンサンブルを最適に重み付けすることで、単純平均を上回る高い証明可能頑健性を達成できるか？
• RQ2 分類マージンの下界を最適化することで、深層ニューラルネットワークアンサンブルにおける検証誤差とクリーン精度が向上するか？
• RQ3 勾配ブースティングに類似した訓練手順により、過去の弱みを順次是正するようにモデルを訓練することで、アンサンブルの頑健性がさらに向上するか？
• RQ4 軽量で認証済みの少数のモデルからなるアンサンブルが、単一の大規模で最先端の認証モデルを上回る検証誤差とクリーン誤差を達成できるか？
• RQ5 ベースモデルにおける特徴量サブサンプリングは、共有アーキテクチャのモデルと比較して、RobBoostアンサンブルの性能にどのように影響するか？

主な発見

• ℓ∞ノイズε=0.3のMNISTでは、RobBoostが単純平均の36.0％から検証誤差を34.0％に低減し、単一モデルの最先端（43.1％の検証誤差）を上回る。
• ε=2/255のCIFAR-10では、RobBoostが53.61％の検証誤差を達成したのに対し、単純アンサンブルは55.07％であり、一貫した改善が確認された。
• RobBoostアンサンブルは、単純平均よりも高いクリーン精度を達成し、ε=0.3のMNISTでは12.51％のクリーン誤差（単純平均は13.34％）を記録した。
• 勾配ブースティング設定では、最初の2〜3つのモデルが検証誤差の低減に最も寄与し、追加のモデルでさらに改善が得られ、段階的な向上が示された。
• RobBoostアンサンブルのマージン下界の分布は、単純アンサンブルと比較して正の値にシフトしており、より強い証明可能頑健性を示している。
• より小さな、多様なモデルを用いても、RobBoostはWongら（2018）の単一の大規模な認証モデルを上回り、検証誤差とクリーン誤差の両方で優れた性能を発揮した。