[論文レビュー] Protecting Neural Networks with Hierarchical Random Switching: Towards Better Robustness-Accuracy Trade-off for Stochastic Defenses

Xiao Wang, Siyue Wang+5 more|arXiv (Cornell University)|Aug 20, 2019

Adversarial Robustness in Machine Learning参考文献 15被引用数 8

ひとこと要約

本論文では、階層的ブロック間でランダムに切り替わるチャネルを使用することで、ニューラルネットワークにおけるロバストネスと精度のトレードオフを改善する、新しい確率的防御である階層的ランダムスイッチング（HRS）を提案する。HRSは、既存の手法よりも顕著に高い防御効率スコア（DES）を達成し、白ボックスおよび適応的攻撃に対して、確率的防御および adversarial training よりも優れた性能を示す。また、 adversarial reprogramming に対しても、初めて効果的な防御を実現する。

ABSTRACT

Despite achieving remarkable success in various domains, recent studies have uncovered the vulnerability of deep neural networks to adversarial perturbations, creating concerns on model generalizability and new threats such as prediction-evasive misclassification or stealthy reprogramming. Among different defense proposals, stochastic network defenses such as random neuron activation pruning or random perturbation to layer inputs are shown to be promising for attack mitigation. However, one critical drawback of current defenses is that the robustness enhancement is at the cost of noticeable performance degradation on legitimate data, e.g., large drop in test accuracy. This paper is motivated by pursuing for a better trade-off between adversarial robustness and test accuracy for stochastic network defenses. We propose Defense Efficiency Score (DES), a comprehensive metric that measures the gain in unsuccessful attack attempts at the cost of drop in test accuracy of any defense. To achieve a better DES, we propose hierarchical random switching (HRS), which protects neural networks through a novel randomization scheme. A HRS-protected model contains several blocks of randomly switching channels to prevent adversaries from exploiting fixed model structures and parameters for their malicious purposes. Extensive experiments show that HRS is superior in defending against state-of-the-art white-box and adaptive adversarial misclassification attacks. We also demonstrate the effectiveness of HRS in defending adversarial reprogramming, which is the first defense against adversarial programs. Moreover, in most settings the average DES of HRS is at least 5X higher than current stochastic network defenses, validating its significantly improved robustness-accuracy trade-off.

研究の動機と目的

• 確率的防御における adversarial ロバストネスとテスト精度の間の重要なトレードオフを解消すること。
• 高いテスト精度を維持しながら、adversarial 攻撃の成功率を顕著に低減できる防御メカニズムを開発すること。
• ロバストネスと精度のトレードオフを標準化された評価に用いるための新しい指標、防御効率スコア（DES）を提案すること。
• 適応的および白ボックス攻撃、特に adversarial reprogramming という新たな脅威に対しても効果的な防御を可能にすること。

提案手法

• HRSは、各ブロックに異なる重みを持つ並列チャネルと、推論時にアクティブなチャネルを選択する動的スイッチャーを備えた階層的構造のランダムスイッチングブロックを導入する。
• 各ブロックでは、1回の順伝播ごとに1つのチャネルのみがアクティブになるように、分散型のランダム化を実装し、固定されたモデル構造を悪用されるのを防ぐ。
• 線形時間計算量を有する新しいトップダウン型トレーニングアルゴリズムを開発し、HRS保護モデルの効率的トレーニングを実現する。
• 防御は攻撃に依存せず、標準的なニューラルネットワークトレーニングパイプラインと互換性があり、ベースアーキテクチャを1つだけ必要とする。
• HRSは、標準的な adversarial misclassification タスクおよび adversarial reprogramming タスクの両方へ適用可能であり、広範な適用可能性を示している。
• 防御効率スコア（DES）は、攻撃成功率の低下割合をテスト精度の低下割合で割った比として計算され、防御間の定量的比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 確率的防御におけるロバストネスと精度のトレードオフは、どのように体系的に測定され、改善可能か？
• RQ2 高いテスト精度を維持しながら、強力な白ボックスおよび適応的 adversarial 攻撃に対しても効果的に耐性を持つ防御メカニズムは可能か？
• RQ3 階層的ランダムスイッチングは、SAP や defensive dropout やガウスノイズといった既存の確率的防御よりも、より強いロバストネスを提供するか？
• RQ4 adversarial reprogramming という新たな脅威、すなわちモデルが意図せず不正な動作をさせるように改ざんされる攻撃に対しても、HRSは防御可能か？
• RQ5 HRSのロバストネスは、勾配の遮断によるものか、それとも adversarial 例に対して真正の耐性を示しているのか？

主な発見

• CIFAR-10において、HRSはCW-PGD攻撃下で平均35.55の防御効率スコア（DES）を達成し、他のすべての防御よりも少なくとも3倍高い。
• テスト精度の低下がたった0.48%にとどまる中で、ℓ∞ = 8/255のPGDおよびCW-PGD攻撃において、それぞれ48.9%および45.5%の攻撃成功率低下を達成した。
• Expectation of Transforms（EOT）を用いた適応的攻撃に対しても、HRSは有効に機能するが、SAP やドロップアウトのような他の防御は顕著に弱体化する。
• 固定ランダム性を持つ適応的攻撃は、HRSに対して標準的な白ボックス攻撃よりも劣る性能を示し、分散型ランダム化が悪用を防いでいることを確認した。
• CIFAR-10では、adversarial reprogramming の成功確率がHRSで20%未満に低下する一方、保護されていないモデルは再プログラミング後に最大95.07%の精度を達成した。
• より多くのチャネルやブロックを用いることで、HRSの攻撃成功率はさらに低下し、強力な防御に向けたスケーラビリティと設定の柔軟性を示している。