[論文レビュー] Block switching: a stochastic approach for deep learning security

Sang Chin|arXiv (Cornell University)|Feb 18, 2020

Adversarial Robustness in Machine Learning参考文献 21被引用数 9

ひとこと要約

本稿では、推論時に複数の並列な層ブロックのうちをランダムに選択することで、敵対的攻撃を攪乱するための確率的防御であるブロックスイッチング（BS）を提案する。BSは入力勾配の分散をもたらすことにより、精度の低下を最小限に抑えつつ、攻撃タイプや他の防御手法と併用可能な優れた防御性能を達成する。

ABSTRACT

Recent study of adversarial attacks has revealed the vulnerability of modern deep learning models. That is, subtly crafted perturbations of the input can make a trained network with high accuracy produce arbitrary incorrect predictions, while maintain imperceptible to human vision system. In this paper, we introduce Block Switching (BS), a defense strategy against adversarial attacks based on stochasticity. BS replaces a block of model layers with multiple parallel channels, and the active channel is randomly assigned in the run time hence unpredictable to the adversary. We show empirically that BS leads to a more dispersed input gradient distribution and superior defense effectiveness compared with other stochastic defenses such as stochastic activation pruning (SAP). Compared to other defenses, BS is also characterized by the following features: (i) BS causes less test accuracy drop; (ii) BS is attack-independent and (iii) BS is compatible with other defenses and can be used jointly with others.

研究の動機と目的

• 誤分類を引き起こす人間が気づかないほどの微小な敵対的摂動に対する深層学習モデルの脆弱性を是正すること。
• 攻撃手法の事前知識がなくても、多様な攻撃タイプに耐性を持つ防御機構を開発すること。
• 標準テスト精度の低下を最小限に抑えつつ、敵対的例に対する耐性を向上させること。
• 既存の防御技術と併用可能な、統合可能な防御を設計することにより、集合的改善を図ること。
• 並列ブロックを用いた構造的な方法で確率性を導入し、勾配分散とモデルの耐性を高めること。

提案手法

• モデルの層のブロックを、複数の並列で同一のサブネットワーク（チャネル）に置き換えることで、確率性を導入する。
• 推論時に1つのアクティブなチャネルをランダムに選択することで、攻撃者にとってモデルの挙動が予測不能になるようにする。
• 推論時にチャネル活性化に一様ランダム選択ポリシーを用いることで、予測不可能性を保証する。
• チャネル間で同一のアーキテクチャとパラメータを維持することで、モデル容量と学習の一貫性を保つ。
• BSをモジュラーなコンponentとして実装し、アーキテクチャの大幅な見直しを伴わずに既存の深層学習モデルに統合可能にする。
• チャネル選択の確率性を活用して、入力勾配分布を分散させ、勾配ベースの攻撃の効果を低下させる。

実験結果

リサーチクエスチョン

• RQ1 ランダムなブロック選択によって導入される確率性は、敵対的攻撃に対する耐性を向上させることができるか？
• RQ2 ブロックスイッチングは、Stochastic Activation Pruning（SAP）といった既存の確率的防御と比較して、耐性と精度の両面で優れているか？
• RQ3 ブロックスイッチングは、幅広い攻撃に対して高い標準テスト精度を維持しながら防御できるか？
• RQ4 ブロックスイッチングは、ホワイトボックスおよびブラックボックスの両方の敵対的攻撃に対して有効か？
• RQ5 ブロックスイッチングは他の防御機構と組み合わせて、さらなる耐性向上が可能か？

主な発見

• 入力勾配分布の分散がより顕著であるという証拠から、ブロックスイッチングはStochastic Activation Pruning（SAP）よりも優れた防御性能を達成している。
• 他の確率的防御と比較して、ブロックスイッチングは標準テスト精度の低下が著しく小さく、モデルの有用性を保っている。
• 多様な攻撃タイプにわたり有効であり、攻撃手法の事前知識がなくても攻撃に依存しない耐性を示している。
• 他の防御技術と併用可能であり、それらと組み合わせることで全体の耐性を向上させることができる。
• 実験的結果から、BSは高いクリーン精度を維持しながら耐性を向上させていることが示されており、耐性と精度のトレードオフが良好である。
• チャネル選択の確率性が勾配ベースの攻撃最適化を攪乱し、敵対者が効果的な摂動を設計しにくくしている。