[論文レビュー] Revisiting Hilbert-Schmidt Information Bottleneck for Adversarial Robustness

Zifeng Wang, Tong Jian+3 more|arXiv (Cornell University)|Jun 4, 2021

Adversarial Robustness in Machine Learning被引用数 15

ひとこと要約

本稿では、ヒルベルト＝シュミット独立性基準（HSIC）を用いて中間層表現を正則化することで、深層ニューラルネットワークにおける adversarial なロバストネスを向上させる、HSIC-Bottleneck-as-Regularizer（HBaR）を提案する。HBaR は理論的および実験的に、adversarial パーティクルへの感受性を低減し、adversarial training に依存せずにロバストネスを向上させるとともに、CIFAR-10 および CIFAR-100 ベンチマークにおいて最先端の adversarial training 法と組み合わせて使用しても一貫して性能を向上させる。

ABSTRACT

We investigate the HSIC (Hilbert-Schmidt independence criterion) bottleneck as a regularizer for learning an adversarially robust deep neural network classifier. In addition to the usual cross-entropy loss, we add regularization terms for every intermediate layer to ensure that the latent representations retain useful information for output prediction while reducing redundant information. We show that the HSIC bottleneck enhances robustness to adversarial attacks both theoretically and experimentally. In particular, we prove that the HSIC bottleneck regularizer reduces the sensitivity of the classifier to adversarial examples. Our experiments on multiple benchmark datasets and architectures demonstrate that incorporating an HSIC bottleneck regularizer attains competitive natural accuracy and improves adversarial robustness, both with and without adversarial examples during training. Our code and adversarially robust models are publicly available.

研究の動機と目的

• adversarial training に依存せずに深層ニューラルネットワークにおける adversarial なロバストネスを向上させること。
• 従来の情報ボトルネック法における相互情報量の計算不能性を解消するため、HSIC を実用的な代替手段として用いること。
• 入力の摂動に対するモデル感受性を制約する理論的裏付けのある正則化子を提供すること。
• adversarial な例を訓練中に使用しない状況でも、HSIC 正則化が多様なアーキテクチャおよびデータセットにおいてロバストネスを向上させることを示すこと。
• 既存の最先端の adversarial training 法と HBaR を統合し、さらにロバストネスを向上させること。

提案手法

• 入力と潜在表現の間の HSIC を最小化しつつ出力に関連する情報を保持する正則化子である HSIC-Bottleneck-as-Regularizer（HBaR）を導入する。
• 標準的な交差エントロピー損失に加えて、深層ニューラルネットワークのすべての中間層に HSIC 正則化子を適用する。
• 理論的分析により、HBaR が入力ノイズが潜在表現に与える影響を制約することで、分類器の adversarial パーティクルへの感受性を低減することを示す。
• FGSM、PGD、CW、AutoAttack を用いて、CIFAR-10 および CIFAR-100 における ResNet-18 および WideResNet-28-10 に対して HBaR の実験的妥当性を検証する。
• PGD、TRADES、MART といった adversarial training のベースラインと HBaR を組み合わせ、一貫したロバストネスの向上を示す。
• 統計的信頼性を確保するため、複数のランダムシード（5回の実行）を用いて平均値と標準偏差を報告する。

実験結果

リサーチクエスチョン

• RQ1 adversarial な例を訓練中に使用しない状況でも、HSIC を用いた正則化が深層ニューラルネットワークにおける adversarial なロバストネスを向上させることができるか？
• RQ2 相互情報量に基づく情報ボトルネック法と比較して、HBaR はロバストネスおよび計算効率の面でどのように異なるか？
• RQ3 HBaR は、TRADES や MART のような最先端の adversarial training 法のロバストネスを向上させるか？
• RQ4 HBaR が adversarial パーティクルへの感受性を低減できる理論的根拠は何か？
• RQ5 HBaR は FGSM や AutoAttack などの強力で適応的な攻撃に対しても、どのように性能を発揮するか？

主な発見

• ResNet-18 を用いた CIFAR-10 では、HBaR が PGD 訓練と組み合わせることで、自然正答率 63.84%、FGSM のロバストネス 31.59% を達成した。
• WideResNet-28-10 を用いた CIFAR-100 では、HBaR + MART が自然正答率 58.93%、FGSM のロバストネス 33.49% を達成し、MART 単体（自然正答率 58.42%、FGSM のロバストネス 32.94%）を上回った。
• adversarial な例を用いない訓練でも HBaR はロバストネスを向上させる。これは IB に基づく手法と比較して顕著な利点である。
• CIFAR-100 において TRADES と組み合わせた場合、HBaR は PGD-20 のロバストネスを 31.32% から 31.96% に向上させ、あらゆる攻撃に対して一貫した改善を示した。
• 5つのランダムシードにおける標準偏差がすべての報告された指標で 0.15 未満であり、性能の安定性を示している。
• IB に基づくアプローチの中で最先端の性能を達成しており、複数のデータセット、アーキテクチャ、攻撃タイプにおいて一貫してロバストネスを向上させた。