[論文レビュー] Adversarial Learning in Statistical Classification: A Comprehensive Review of Defenses Against Attacks

David J. Miller, Zhen Xiang+1 more|arXiv (Cornell University)|Apr 12, 2019

Adversarial Robustness in Machine Learning参考文献 93被引用数 22

ひとこと要約

この論文は、深層ニューラルネットワーク分類器における敵対的学習防御について包括的なサーベイを提供し、テスト時撹乱、データ汚染、バックドア、リバースエンジニアリング攻撃を分析している。技術的評価を通じて従来の常識に挑戦し、統計的手法では検出できない『代替的事実』のような意味的整合性攻撃の困難さを強調している。

ABSTRACT

There is great potential for damage from adversarial learning (AL) attacks on machine-learning based systems. In this paper, we provide a contemporary survey of AL, focused particularly on defenses against attacks on statistical classifiers. After introducing relevant terminology and the goals and range of possible knowledge of both attackers and defenders, we survey recent work on test-time evasion (TTE), data poisoning (DP), and reverse engineering (RE) attacks and particularly defenses against same. In so doing, we distinguish robust classification from anomaly detection (AD), unsupervised from supervised, and statistical hypothesis-based defenses from ones that do not have an explicit null (no attack) hypothesis; we identify the hyperparameters a particular method requires, its computational complexity, as well as the performance measures on which it was evaluated and the obtained quality. We then dig deeper, providing novel insights that challenge conventional AL wisdom and that target unresolved issues, including: 1) robust classification versus AD as a defense strategy; 2) the belief that attack success increases with attack strength, which ignores susceptibility to AD; 3) small perturbations for test-time evasion attacks: a fallacy or a requirement?; 4) validity of the universal assumption that a TTE attacker knows the ground-truth class for the example to be attacked; 5) black, grey, or white box attacks as the standard for defense evaluation; 6) susceptibility of query-based RE to an AD defense. We also discuss attacks on the privacy of training data. We then present benchmark comparisons of several defenses against TTE, RE, and backdoor DP attacks on images. The paper concludes with a discussion of future work.

研究の動機と目的

• 深層ニューラルネットワーク分類器に対する敵対的攻撃に対する最近の防御をサーベイし、技術的に評価すること。
• 耐性分類と異常検出を防御戦略として区別し、その有効性を評価すること。
• 敵対的機械学習における一般的な仮定（たとえば、より強い攻撃が常に効果的であるという考え）に挑戦すること。
• 標準的な評価パラダイムの限界を調査すること、特にブラックボックス対ホワイトボックスの仮定を含む。
• 意味的整合性攻撃（例：『代替的事実』や統計分析を回避するデータ操作）の検出を検討すること。

提案手法

• 敵対的攻撃を4つのカテゴリに分類：テスト時撹乱（TTE）、データ汚染（DP）、バックドアDP、リバースエンジニアリング（RE）。
• 技術的基準（ハイパーパrameterの要件、計算複雑性、性能指標、耐性）を用いて防御を評価する。
• BICを用いた統計的仮説検定を適用し、ノイズのない（クリーンな）データ分布と異常な（異常な）データ分布のモデル化を行う。
• ペナルティ付き対数尤度を用いたモデル選択により、テストデータ内の異常クラスタを検出する。特にデータ汚染の検出に有効である。
• 意味的整合性攻撃の検出には、データプロバンセンスと暗号技術（例：ブロックチェーン）が不可欠であると提唱する。
• TTE、RE、画像データセットにおけるバックドア攻撃のベンチマークを比較し、実世界への適用可能性に重点を置く。

実験結果

リサーチクエスチョン

• RQ1 耐性分類と異常検出は、敵対的攻撃に対する防御戦略としてどのように比較されるか？
• RQ2 攻撃の強度を高めることで常に成功確率が向上するのか、それとも異常検出による検出可能性とトレードオフがあるのか？
• RQ3 小さな摂動が効果的なテスト時撹乱攻撃に不可欠であるという仮定は正しいのか、それとも誤解であるのか？
• RQ4 テスト時撹乱攻撃者が入力の真のクラスを知っているという仮定は、現実世界のシナリオでどれほど妥当なのか？
• RQ5 防御の耐性を評価するにあたり、最も適切な脅威モデルはブラックボックス、グレーゾーン、それともホワイトボックスか？

主な発見

• 異常検出防御は、TTE、DP、REを含む大多数の敵対的攻撃に対して有効であるが、『代替的事実』のような意味的整合性攻撃には失敗する。
• BICを用いたモデル選択に基づく統計的防御は、クリーンな参照データセットが利用可能な場合、データ汚染を検出できる。
• テスト時撹乱における小さな摂動は、厳密な要件ではない。一部の攻撃は、より大きく検出されやすい変更でも成功する。
• 攻撃者が真のクラスを知っているという仮定は、しばしば現実的ではなく、現実世界の設定では攻撃成功の見積もりを高めすぎる可能性がある。
• クエリベースのリバースエンジニアリング攻撃は、攻撃者のクエリが通常のデータパターンから逸脱している場合、異常検出に対して脆弱である。
• 意味的に重要な内容を変更する（例：文書の1語を変更する）ような意味的攻撃は、統計的手法だけでは極めて検出が困難であり、暗号的プロバンセンス追跡が不可欠となる。