[論文レビュー] LiBRe: A Practical Bayesian Approach to Adversarial Detection

Zhijie Deng, Xiao Yang+3 more|ArXiv.org|Mar 27, 2021

Adversarial Robustness in Machine Learning参考文献 67被引用数 7

ひとこと要約

LiBReは、最終層のみを数層の深層アンサンブル変分ベイズネットワークに変換することで、事前学習済みの深層ニューラルネットワークに敵対的検出機能を追加する軽量なベイズ的精錬手法を提案する。最小限の計算コストで多様な攻撃に対して最先端の検出性能を達成し、敵対的サンプルの注入なしに事前学習・微調整および不確実性正則化を用いることで、高い予測精度と効率的な推論を維持する。

ABSTRACT

Despite their appealing flexibility, deep neural networks (DNNs) are vulnerable against adversarial examples. Various adversarial defense strategies have been proposed to resolve this problem, but they typically demonstrate restricted practicability owing to unsurmountable compromise on universality, effectiveness, or efficiency. In this work, we propose a more practical approach, Lightweight Bayesian Refinement (LiBRe), in the spirit of leveraging Bayesian neural networks (BNNs) for adversarial detection. Empowered by the task and attack agnostic modeling under Bayes principle, LiBRe can endow a variety of pre-trained task-dependent DNNs with the ability of defending heterogeneous adversarial attacks at a low cost. We develop and integrate advanced learning techniques to make LiBRe appropriate for adversarial detection. Concretely, we build the few-layer deep ensemble variational and adopt the pre-training & fine-tuning workflow to boost the effectiveness and efficiency of LiBRe. We further provide a novel insight to realise adversarial detection-oriented uncertainty quantification without inefficiently crafting adversarial examples during training. Extensive empirical studies covering a wide range of scenarios verify the practicability of LiBRe. We also conduct thorough ablation studies to evidence the superiority of our modeling and learning strategies.

研究の動機と目的

• 既存の敵対的防御手法が普遍性、有効性、または効率性を犠牲にしているという限界を解消すること。
• 再訓練から始めることなく、タスク固有の事前学習済みDNNにおける実用的な敵対的検出を可能にすること。
• 予測性能と推論速度を維持したまま、敵対的検出のためのベイズ的不確実性推定を向上させること。
• 訓練中に敵対的サンプルの作成を必要としない新しい不確実性補正戦略を導入することで、その必要性を排除すること。

提案手法

• 深層アンサンブルを最終数層にのみ適用する変分ベイズ手法「Few-layer Deep Ensemble (FADE)」を導入し、初期層には決定論的重みを保持する。
• 事前学習と微調整のパラダイムを採用し、事前学習済みの決定論的重みでFADEを初期化することで収束を加速し、事後分布の質を向上させる。
• FADEにおいて確率的学習原理を導入し、多様な関数モードを促進し、勾配分散を低減する。
• 敵対的検出のための予測不確実性を補正する不確実性正則化（R）を導入し、作成済みの敵対的サンプルに依存しない。
• ミニバッチ単位のMC推定ではなく、インスタンス単位の期待対数尤度（L*）の確率的推定を用いることで、学習安定性と不確実性のキャリブレーションを向上させる。
• 分布外入力および敵対的入力を検出する際、ソフトマックス分散よりもより頑健な特徴分散を不確実性指標として活用する。

Figure 1 : Given a pre-trained DNN, LiBRe converts its last few layers (excluding the task-dependent output head) to be Bayesian, and reuses the pre-trained parameters. Then, LiBRe launches several-round adversarial detection-oriented fine-tuning to render the posterior effective for prediction and

実験結果

リサーチクエスチョン

• RQ1 多様なタスクや攻撃に対して、効果的かつ効率的な敵対的検出が可能なベイズ的精錬アプローチは可能か？
• RQ2 訓練中に敵対的サンプルの注入に依存せずに、ベイズ的不確実性をどのように向上させられるか？
• RQ3 ソフトマックス分散の代わりに特徴分散を用いることで、敵対的検出性能が向上するか？
• RQ4 不確実性正則化（R）およびインスタンス単位の尤度推定（L*）は、検出品質をどの程度向上させるか？
• RQ5 軽量なベイズ的手法は、リアルタイムの敵対的検出を可能にしつつ、高い予測精度を維持できるか？

主な発見

• FGSM、C&W、PGD、DIM攻撃において、それぞれAUROCスコアが1.000、0.985、0.994、1.000に達し、すべてのベースラインを上回る性能を示した。
• COCOオブジェクト検出タスクでは、mAP@.5とmAP@.5:.95が0.545および0.344を維持しながら、4種類の攻撃タイプで0.957～0.972のAUROCを達成した。
• LiBReは決定論的推論（MAP）とほとんど同等の速度であり、RTX 2080 Ti上で32枚画像バッチあたり約1.2秒の推論時間で、リアルタイム展開が可能である。
• 可視化により、FADEの事後分布がアンサンブルメンバー間で高い多様性を示しており、モード崩壊が発生していないことが確認された。
• アブレーションスタディでは、ソフトマックス分散では検出性能が著しく劣り（AUROC ~0.01～0.76）、特徴分散の方が摂動に対してより頑健であることが示された。
• 不確実性正則化（R）を削除するか、ミニバッチ単位のMC推定（L）を用いることで、検出AUROCが最大50％低下し、これらの要素の重要性が裏付けられた。

Figure 2 : The histograms for the feature variance uncertainty of normal and adversarial examples given by LiBRe or the baselines.