[論文レビュー] Disrupting Deep Uncertainty Estimation Without Harming Accuracy

Ido Galil, Ran El‐Yaniv|arXiv (Cornell University)|Oct 26, 2021

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、分類精度に影響を与えずに深層ニューラルネットワークの不確実性推定を損なう、低ノイズの摂動攻撃であるACE（Confidence Estimationへの攻撃）を提案する。正しく予測されたサンプルを意思決定境界にわずかに近づけ、誤って予測されたサンプルを遠ざけることで、モデルが誤って自信過剰に分類するが、元のラベルは保持される。この攻撃により、ソフトマックス、MC-Dropout、ディープアンサンブル、SelectiveNetの信頼性が著しく低下する。

ABSTRACT

Deep neural networks (DNNs) have proven to be powerful predictors and are widely used for various tasks. Credible uncertainty estimation of their predictions, however, is crucial for their deployment in many risk-sensitive applications. In this paper we present a novel and simple attack, which unlike adversarial attacks, does not cause incorrect predictions but instead cripples the network's capacity for uncertainty estimation. The result is that after the attack, the DNN is more confident of its incorrect predictions than about its correct ones without having its accuracy reduced. We present two versions of the attack. The first scenario focuses on a black-box regime (where the attacker has no knowledge of the target network) and the second scenario attacks a white-box setting. The proposed attack is only required to be of minuscule magnitude for its perturbations to cause severe uncertainty estimation damage, with larger magnitudes resulting in completely unusable uncertainty estimations. We demonstrate successful attacks on three of the most popular uncertainty estimation methods: the vanilla softmax score, Deep Ensembles and MC-Dropout. Additionally, we show an attack on SelectiveNet, the selective classification architecture. We test the proposed attack on several contemporary architectures such as MobileNetV2 and EfficientNetB0, all trained to classify ImageNet.

研究の動機と目的

• モデルの分類精度に影響を与えないが、信頼度キャリブレーションを著しく損なう新たな不確実性推定手法の脆弱性を明らかにすること。
• 人間が認識できない摂動を用いて信頼度スコアを操作するブラックボックスおよびホワイトボックス攻撃を開発すること。
• ソフトマックス、MC-Dropout、ディープアンサンブル、SelectiveNetといった広く使われる不確実性推定手法が、こうした攻撃に対して極めて感受性であることを実証すること。
• 極めて小さな摂動（ε = 0.005）ですら、選択的リスクを著しく増加させ、実用上不確実性推定を無効にすることを示すこと。
• 今後の研究における、こうした攻撃に対する耐性を持つ不確実性推定および検出メカニズムの開発を促すこと。

提案手法

• ACEは、正しく予測されたサンプルを意思決定境界に近づけ、誤って予測されたサンプルを遠ざけるように、予測を反転させない摂動を構築する。
• 攻撃はブラックボックス（クエリベース）およびホワイトボックス（モデルアーキテクチャを認識）の両設定で動作し、モデルの信頼度スコアのみをフィードバックとして使用する。
• ソフトマックスに基づく不確実性の場合は、モデルの出力ログィットに対する勾配ベース最適化により、信頼度スコアを直接操作する。
• MC-Dropout やディープアンサンブルを使用するモデルの場合は、入力特徴を摂動させることでアンサンブルまたはドロップアウトベースの信頼度推定を標的とする。
• SelectiveNetの場合は、攻撃のバリエーションに応じて、セレクターヘッドまたはセレクタの入力として使用されるソフトマックススコアを標的とする。
• 摂動は、元の予測を保持し、摂動の大きさを最小限に抑えつつ、選択的リスクを最大化する損失関数を用いて最適化される。

実験結果

リサーチクエスチョン

• RQ1 分類精度や予測ラベルを変更せずに、不確実性推定を劣化させる摂動攻撃を設計可能か？
• RQ2 ソフトマックス、MC-Dropout、ディープアンサンブル、SelectiveNetといった異なる不確実性推定手法に、攻撃はどの程度効果的か？
• RQ3 最小限の摂動大きさで、ブラックボックスおよびホワイトボックス両設定でも攻撃は有効に機能するか？
• RQ4 攻撃は選択的分類性能にどのような影響を及ぼすか、特に選択的リスクとカバレッジの観点から。
• RQ5 特定の不確実性推定手法は、他の手法よりもこうした攻撃に対してより耐性があるか？

主な発見

• ACEは、ソフトマックス、MC-Dropout、ディープアンサンブル、SelectiveNetのすべてのテスト手法において、元の予測を変更せずに不確実性推定を著しく損なった。
• ε = 0.005の場合、VGG16バックボーンを搭載したSelectiveNetの選択的リスクは、クリーン状態の0.0067から0.0829に上昇し、非拒否予測のリスクが12倍に増加した。
• ResNet18ベースのSelectiveNetでは、直接攻撃により選択的リスクが0.0012から0.0747に上昇し、最小限の摂動でリスクが62倍に増加した。
• ソフトマックススコアを介した間接的攻撃は、セレクターヘッドへの直接攻撃よりも有害であり、VGG16では選択的リスクが0.0829（直接攻撃は0.0772）にまで上昇した。
• ε = 0.0005でも、選択的リスクは顕著に上昇した（例：ResNet18では0.0012から0.0059に上昇）、すなわち、サブピクセルレベルの摂動でも損傷が生じる。
• 攻撃により信頼性が著しく低下し、モデルは正しい予測よりも誤った予測に対してより自信を持つようになり、不確実性対応システムへの信頼を損なう。