[論文レビュー] Deep Learning Backdoors

Shaofeng Li, Shiqing Ma+2 more|arXiv (Cornell University)|Jul 16, 2020

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

この論文は、訓練中に悪意ある攻撃者が特定の条件下で予測を操作するための隠しトリガーをモデルに埋め込むことで、深層ニューラルネットワークにおけるバックドア攻撃を調査している。攻撃の脅威モデルや、BadNetsのような攻撃手法、およびウォーターマーキングや adversarial example 検出のような防御策を概説し、スティールネス、持続性、適応性の面での課題を強調している。

ABSTRACT

Intuitively, a backdoor attack against Deep Neural Networks (DNNs) is to inject hidden malicious behaviors into DNNs such that the backdoor model behaves legitimately for benign inputs, yet invokes a predefined malicious behavior when its input contains a malicious trigger. The trigger can take a plethora of forms, including a special object present in the image (e.g., a yellow pad), a shape filled with custom textures (e.g., logos with particular colors) or even image-wide stylizations with special filters (e.g., images altered by Nashville or Gotham filters). These filters can be applied to the original image by replacing or perturbing a set of image pixels.

研究の動機と目的

• 機械学習のサービスとしての提供（MLaaS）および事前学習済みモデルの配布を念頭に、深層ニューラルネットワークにおけるバックドア攻撃の脅威を分析すること。
• 白ボックス、グレーエックス、ブラックボックス設定を含む、さまざまな脅威モデル下でのバックドア攻撃の実現可能性とスティールネスを調査すること。
• 転移学習とファインチューニングを通じてバックドアの耐性を評価し、その持続性における限界を同定すること。
• ウォーターマーキングや adversarial example 検出といった防御メカニズムを検討し、バックドアの脅威を検出・緩和すること。
• 実世界のAIデプロイメント環境において、スティールネス、持続性、適応性を備えたバックドア攻撃および防御を構築するうえでの未解決の課題を特定すること。

提案手法

• 悪意ある攻撃者が良性の入力を悪意あるものに変換するトリガー生成器を用いて、クリーンなモデルをバックドア付きモデルに変換するバックドア攻撃を形式的に定義する。
• 白ボックス手法の代表例として、BadNets 攻撃を提案：良性の画像に目に見えるトリガー（例：色付きのパッチ）を追加し、標的クラスに再ラベル付けすることで訓練データを汚染する。
• モデルに一意で偽造不可能なフィルタ（ワンダーフィルタ W）を埋め込むウォーターマーキング技術を適用し、ラベルの一貫性の検証によってバックドア付きモデルの検出を可能にする。
• トリガーによって生成される短絡的経路を特定することで、背後にある決定境界の変化を分析し、adversarial attack の検出に利用可能なメカニズムを提供する。
• トリガーのパターン（サイズ、強度、位置）に基づくトラップドアメカニズムを採用し、バックドアによって引き起こされる決定境界の変化を活用して adversarial example を検出・回復可能にする。
• ファインチューニングと転移学習におけるバックドアの耐性を分析し、一部のレイヤーのみを再学習する場合に多くのバックドアが破壊されることを同定する。

実験結果

リサーチクエスチョン

• RQ1 白ボックス、グレーエックス、ブラックボックス設定を含む、さまざまな脅威モデル下でのバックドア攻撃の有効性はどの程度か？
• RQ2 高成功率と正しいラベル付けを維持しつつ、トリガーを人間が認識できないようにすることは可能か？
• RQ3 実世界のデプロイメントパイプラインにおいて、ファインチューニングおよび転移学習の過程でバックドアがどの程度生存するか？
• RQ4 ウォーターマーキング技術は、偽陽性を避けつつ、信頼性高くバックドア付きモデルを検出でき、偽造不可能性を保証できるか？
• RQ5 バックドアによって引き起こされる決定境界の変化は、どのようにして adversarial attack の検出および防御に活用できるか？

主な発見

• BadNets などのバックドア攻撃は、最小限のデータ汚染でも高い成功率（例：単一ピxlsトリガーで MNIST で 100%）を達成できる。
• ワンダーフィルタ W を用いたウォーターマーキングは、信頼性、偽陽性なし、偽造不可能性、持続性を兼ね備え、W が適用された場合にのみ多数の正しくラベル付けされた出力を得ることで検証可能である。
• バックドアは、特に一部のレイヤーのみを更新するファインチューニングの過程でしばしば破壊され、転移学習のシナリオでは実用性が制限される。
• バックドアによって引き起こされる決定境界の変化は、検出可能な短絡的経路を生成し、adversarial example の検出に利用可能なメカニズムを提供する。
• 既存の防御策や攻撃手法は、しばしば適応的攻撃者を考慮していないため、実世界のAIセキュリティにおいて、動的かつ対抗的戦略の導入が不可欠である。
• クリーンなラベルを維持しつつ、トリガーを目に見えなくするという課題は依然として深刻であり、多くの手法はトリガーを目に見えるものにするか、ラベルの整合性を損なう。