[論文レビュー] Fine-Pruning: Defending Against Backdooring Attacks on Deep Neural Networks

Kang Liu, Brendan Dolan-Gavitt+1 more|arXiv (Cornell University)|May 30, 2018

Adversarial Robustness in Machine Learning参考文献 38被引用数 38

ひとこと要約

本稿では、構造的(pruning)とファインチューニングを組み合わせた、バックドア攻撃を中和する新たな防御手法「ファインプルーニング」を提案する。冗長なニューロンを削除し、綺麗な入力データで再訓練することで、バックドアの成功率を0%に低下させつつ、綺麗な入力での精度はわずか0.4%低下に抑え、単独でのプルーニングやファインチューニングを上回る性能を発揮する。

ABSTRACT

Deep neural networks (DNNs) provide excellent performance across a wide range of classification tasks, but their training requires high computational resources and is often outsourced to third parties. Recent work has shown that outsourced training introduces the risk that a malicious trainer will return a backdoored DNN that behaves normally on most inputs but causes targeted misclassifications or degrades the accuracy of the network when a trigger known only to the attacker is present. In this paper, we provide the first effective defenses against backdoor attacks on DNNs. We implement three backdoor attacks from prior work and use them to investigate two promising defenses, pruning and fine-tuning. We show that neither, by itself, is sufficient to defend against sophisticated attackers. We then evaluate fine-pruning, a combination of pruning and fine-tuning, and show that it successfully weakens or even eliminates the backdoors, i.e., in some cases reducing the attack success rate to 0% with only a 0.4% drop in accuracy for clean (non-triggering) inputs. Our work provides the first step toward defenses against backdoor attacks in deep neural networks.

研究の動機と目的

• 外部に委託されたディープニューラルネットワークにおけるバックドア攻撃の増加する脅威に対処すること。具体的には、悪意あるトレーナーが隠しトリガーを埋め込み、モデルの挙動を操作する攻撃を想定する。
• プルーニングとファインチューニング——2つの直感的な防御手法——が、現実世界のDNNにおけるバックドア攻撃に対して効果的に機能するかを調査すること。
• 既存の防御の耐性を検証するため、プルーニングに注意を向けたバックドア攻撃を設計すること。
• プルーニングとファインチューニングを統合した新たな防御戦略「ファインプルーニング」を提案・評価し、バックドアを中和すること。
• ディープニューラルネットワークにおけるバックドア攻撃の攻撃者-防御者間の相互作用を、初めて体系的かつ包括的に分析すること。

提案手法

• 実世界のデータセットを用いて、交通標識認識、音声認識、顔認識の3つのバックドア攻撃を再現する。
• 綺麗な入力における活性度が低いニューロンを構造的プルーニングで削除し、余分な容量を排除することでバックドア機能を無効化することを目的とする。
• クリーンな動作とバックドア動作の両方を同じニューロンに集中させる、プルーニングに注意を向けたバックドア攻撃を提案する。これにより、通常のプルーニング防御を回避できる。
• まずモデルをプルーニングし、その後、ホールドアウトされた綺麗なデータセットでファインチューニングすることで、ファインプルーニングを実装する。このプロセスにより、精度を回復させるとともに、バックドア行動をさらに抑制する。
• 防御の有効性を評価するために、綺麗な入力での精度と攻撃成功率の両方を指標として用いる。
• 結果の一般化を保証するため、複数のアーキテクチャとデータセットを用いて防御を評価する。

実験結果

リサーチクエスチョン

• RQ1 構造的プルーニングのみで、ディープニューラルネットワークにおけるバックドア攻撃を効果的に防御できるか？
• RQ2 ファインチューニングのみで、洗練されたバックドア攻撃に対して十分な保護を提供できるか？
• RQ3 クリーンな動作と悪意ある動作の両方を同じニューロンに集中させるプルーニングに注意を向けたバックドア攻撃は、標準的なプルーニング防御をどのように回避するのか？
• RQ4 プルーニングとファインチューニングを組み合わせた「ファインプルーニング」は、個別の防御と比較して、バックドア攻撃に対する耐性を顕著に向上させるか？
• RQ5 ファインプルーニングは、綺麗な入力での精度を保持しつつ、どの程度バックドア機能を完全に排除できるか？

主な発見

• プルーニングに注意を向けたバックドア攻撃では、クリーンな動作とバックドア動作の両方が同じニューロンに集中するため、プルーニング単体では効果がなく、ニューロンの削除に耐性を持つ。
• ファインチューニング単体では、バックドアが利用する構造的脆弱性を根本から解消しないため、部分的な保護にとどまる。
• ファインプルーニングは、評価されたすべてのバックドア攻撃において、攻撃成功率を0%に低下させ、悪意ある機能を効果的に無効化した。
• 綺麗な入力での精度低下はわずか0.4%にとどまり、実用的実装の可能性が明確に示された。
• 交通標識認識、音声認識、顔認識という多様なタスクにわたり、本防御は有効であることが確認され、広範な適用可能性を示した。
• ファインプルーニングは、DNNにおけるバックドア攻撃に対する最初の効果的防御であり、従来手法を上回り、外部委託学習における耐性の新たなベンチマークを設定した。