[論文レビュー] Defense against Backdoor Attacks via Identifying and Purifying Bad Neurons

Mingyuan Fan, Yang Liu+3 more|arXiv (Cornell University)|Aug 13, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、1次微分に基づく相互接続関係をよりよく捉えるために、良性のsalience（BS）と呼ばれる新しい指標を用いて悪性ニューロンを特定・浄化する、WIPERと呼ばれる背後攻撃防御手法を提案する。さらに、パラメータの大きさに応じてペナルティ強度を動的に調整する適応的正則化（AR）を導入し、微調整を高速かつ安定化させることで、従来手法よりも優れた浄化効果を実現。1%のクリーンデータ比でさえも、90%を超えるASR低減と3.5%未満の精度低下を達成する。

ABSTRACT

The opacity of neural networks leads their vulnerability to backdoor attacks, where hidden attention of infected neurons is triggered to override normal predictions to the attacker-chosen ones. In this paper, we propose a novel backdoor defense method to mark and purify the infected neurons in the backdoored neural networks. Specifically, we first define a new metric, called benign salience. By combining the first-order gradient to retain the connections between neurons, benign salience can identify the infected neurons with higher accuracy than the commonly used metric in backdoor defense. Then, a new Adaptive Regularization (AR) mechanism is proposed to assist in purifying these identified infected neurons via fine-tuning. Due to the ability to adapt to different magnitudes of parameters, AR can provide faster and more stable convergence than the common regularization mechanism in neuron purifying. Extensive experimental results demonstrate that our method can erase the backdoor in neural networks with negligible performance degradation.

研究の動機と目的

• アクティベーションの大きさ（AM）に依存する既存の背後攻撃防御手法では、ニューロン間の接続関係を無視するため、正常なニューロンを誤って悪性と特定してしまうという限界を解消すること。
• 特に通常の予測経路に関与するニューロンを無差別に pruning することによって引き起こされる性能低下を克服すること。
• モデルの精度を保持しながらも、背後攻撃のトレガーを効果的に消去できる、より正確で安定した悪性ニューロンの特定および浄化手法を開発すること。
• パラメータの大きさに応じて適応的に変化する正則化機構を新たに導入し、ニューロン浄化プロセスにおける収束速度と有効性を向上させること。

提案手法

• 1次微分とニューロンのアクティベーションを組み合わせた新しい指標である良性のsalience（BS）を導入し、従来のアクティベーションの大きさ（AM）よりも、背後攻撃に感染したニューロンの検出を向上させる。
• BSを用いて、トレガーに高い注意を払うが、通常の特徴に対しては関連性が低い「悪性ニューロン」を特定する。この際、勾配に基づく接続情報が保持される。
• パラメータの大きさに応じてペナルティ強度を動的に調整する、分(piecewise)正則化戦略である適応的正則化（AR）を提案。これにより、浄化中の微調整が高速かつ安定化される。
• 直接的な pruning ではなく、ARを用いた微調整を適用することで、悪性ニューロンを浄化し、性能低下を軽減しながらも背後攻撃行動を効果的に抑制する。
• BSに基づく同定とARに基づく微調整を統合し、背後攻撃の消去とモデル精度の両立を図る統合的防御フレームワーク、WIPERを構築する。

実験結果

リサーチクエスチョン

• RQ1 相互接続関係を保持することで、背後攻撃に感染したニューロンの同定において、良性のsalience（BS）がアクティベーションの大きさ（AM）を上回るか？
• RQ2 従来の正則化と比較して、適応的正則化（AR）はニューロン浄化における収束速度と安定性を向上させるか？
• RQ3 ARに基づく浄化による微調整は、pruningに基づく防御と比較して、より高いモデル精度を維持できるか？
• RQ4 1%のクリーンデータ比のような低データ環境下で、WIPERの防御性能はどのように変化するか？

主な発見

• WIPERは、1%のクリーンデータ比であっても、90%を超えるASR低減と3.5%未満の精度低下を達成し、低データ条件下で最先端の手法を大きく上回る性能を示す。
• 良性のsalience（BS）を用いたニューロン同定により、アクティベーションの大きさ（AM）よりも正確に悪性ニューロンを特定でき、正常ニューロンの過剰なpruningのリスクが低減される。
• 適応的正則化（AR）により、微調整中の収束が高速かつ安定化され、従来の正則化と比較して、背後攻撃行動の抑制がより効果的に行える。
• 微調整によるpruningの代替としてARベースの浄化を採用することで、モデル精度が最大2.8ポイント向上（例：81.85%から84.67%）し、TrojanNN攻撃においてASRを16.50%から4.68%に低下させる。
• 異なるネットワークアーキテクチャにわたり強い性能を維持し、従来の手法が深層部で性能低下を示すのに対し、WIPERは深層部の浄化に対しても最小限の精度低下で対応できる。