[論文レビュー] Transferable Clean-Label Poisoning Attacks on Deep Neural Nets

Chen Zhu, Wei Huang+5 more|arXiv (Cornell University)|May 15, 2019

Adversarial Robustness in Machine Learning参考文献 30被引用数 136

ひとこと要約

本論文は、特徴空間でターゲットを取り囲み誤分類を誘導する、移植可能なクリーンラベルポイズニング手法 Convex Polytope Attack を提案し、訓練データの約1%を毒化することで成功率を50％を超えて達成する。

ABSTRACT

Clean-label poisoning attacks inject innocuous looking (and "correctly" labeled) poison images into training data, causing a model to misclassify a targeted image after being trained on this data. We consider transferable poisoning attacks that succeed without access to the victim network's outputs, architecture, or (in some cases) training data. To achieve this, we propose a new "polytope attack" in which poison images are designed to surround the targeted image in feature space. We also demonstrate that using Dropout during poison creation helps to enhance transferability of this attack. We achieve transferable attack success rates of over 50% while poisoning only 1% of the training set.

研究の動機と目的

• Webからデータをスクレイピングしたときのクリーンラベルデータ poisoning のセキュリティリスクを強調する。
• 出力やアーキテクチャにアクセスせず未知の被害者ネットワークへ転送するモデルagnosticな poisoning 戦略を開発する。
• 特徴空間における凸多面体を用いて攻撃の転送性を向上させる。
• Dropout を用いて代替モデルのアンサンブルを模擬し、転送性を高める。
• 攻撃の有効性を、攻撃の多層・エンドツーエンド訓練シナリオで検討する。

提案手法

• 被害者の出力やパラメータへアクセスできない前提の脅威モデルを定義する。攻撃者は類似分布上で代替モデルを訓練できると仮定する。
• Convex Polytope Attack を提案し、ターゲットの特徴ベクトルを代替モデルを横断する毒物特徴の凸包内に収まるように強制する。
• ターゲット特徴と毒物特徴の凸結合との距離を最小化する最適化を、摂動サイズの制約とともに定式化する。
• 係数にはforward-backward分割法を用いる交互法と、毒物画像の勾配ステップを組み合わせて非凸問題を解く。
• 転送性を高めるため、(a) 毒物作成時にDropoutを適用してアンサンブルを模擬し、(b) 複数のネットワーク層にわたってポリトープ目的を強制する。

実験結果

リサーチクエスチョン

• RQ1 クリーンラベルの毒物が、被害者モデルへのアクセスなしに未知の（ブラックボックス）深層画像分類器へ転送されることはあるか。
• RQ2 凸ポリトープベースの目的が、クリーンラベルポイズニングにおける特徴衝突より転送性を改善するか。
• RQ3 複数のネットワーク層を攻撃することは、エンドツーエンド訓練を受けた被害者に対して成功率に影響するか。
• RQ4 毒物作成時の Dropout は転送可能なネットワーク集合を拡張するか。
• RQ5 被害者の訓練データ分布が攻撃者の代替モデルとどの程度類似しているかが攻撃の成功に影響するか。

主な発見

• Convex Polytope Attack は転送学習シナリオにおいて Features Collision より転送性が高く、成功率はしばしば約0.5以上となる。
• 訓練データのわずか1% の毒化で転送可能な標的誤分類を生み出せる。
• 毒物作成時の Dropout はモデルのアンサンブルを効果的にサンプリングして転送性を高める。
• 多層ポリトープ攻撃は、最後の層だけの攻撃と比べてエンドツーエンド訓練の文脈で成功を向上させる。
• 攻撃の有効性は被害者モデルの一般化と、代替モデルのデータ分布によって変動する。