[論文レビュー] Adversarial Unlearning of Backdoors via Implicit Hypergradient

Yi Zeng, Si Chen+4 more|arXiv (Cornell University)|Oct 7, 2021

Adversarial Robustness in Machine Learning参考文献 44被引用数 37

ひとこと要約

その論文は I-BAU を導入し、Implicit Backdoor Adversarial Unlearning アルゴリズムで、暗黙的ハイパーグラディエントを用いて minimax バックドア除去問題を解き、収束と一般化の保証と多様な攻撃に対する強力な実証結果を示す。

ABSTRACT

We propose a minimax formulation for removing backdoors from a given poisoned model based on a small set of clean data. This formulation encompasses much of prior work on backdoor removal. We propose the Implicit Bacdoor Adversarial Unlearning (I-BAU) algorithm to solve the minimax. Unlike previous work, which breaks down the minimax into separate inner and outer problems, our algorithm utilizes the implicit hypergradient to account for the interdependence between inner and outer optimization. We theoretically analyze its convergence and the generalizability of the robustness gained by solving minimax on clean data to unseen test data. In our evaluation, we compare I-BAU with six state-of-art backdoor defenses on seven backdoor attacks over two datasets and various attack settings, including the common setting where the attacker targets one class as well as important but underexplored settings where multiple classes are targeted. I-BAU's performance is comparable to and most often significantly better than the best baseline. Particularly, its performance is more robust to the variation on triggers, attack settings, poison ratio, and clean data size. Moreover, I-BAU requires less computation to take effect; particularly, it is more than $13 imes$ faster than the most efficient baseline in the single-target attack setting. Furthermore, it can remain effective in the extreme case where the defender can only access 100 clean samples -- a setting where all the baselines fail to produce acceptable results.

研究の動機と目的

• 限定されたクリーンデータを用いて、 poisonedモデル からバックドアを除去するための minimax 形式を提供する。
• 内部最適化と外部最適化の相互依存性を捉える、暗黙的ハイパグラディエントに基づく効率的なソルバーを開発する。
• 線形モデルとニューラルネットワークにおける minimax 防御の収束性と一般化を分析する。
• 複数のバックドア攻撃とデータセットに対して、I-BAU を 6 つの最先端防御と経験的に比較する。

提案手法

• 内部最大化をトリガー delta の上で、外部最小化をモデルパラメータ theta の上で最小化する、バックドア除去を minimax 問題として定式化する。
• 暗黙的ハイパグラディエント psi'(theta) = grad_2 H(delta(theta), theta) + (delta'(theta))^T grad_1 H(delta(theta), theta) を暗黙の関数定理を用いて導出する。
• 内部最大化子 delta(theta) を反復ソルバーで近似し、近似 delta をハイパーグラディエントに代入して theta を更新する。
• 暗黙的ハイパグラディエントを用いることで、完全な二階層最適化パスを避け、メモリ効率の良い実装を提供する。
• 標準的な凸性とリプシッツ条件の下での収束保証を提供し、線形モデルとニューラルネットワークの一般化境界について議論する。
• バックドア摂動の大きなノルム境界が実践的にはクリーン精度に大きく影響しないことを示す。

実験結果

リサーチクエスチョン

• RQ1 I-BAU は、様々なトリガーパターンや攻撃設定の下でバックドアを堅牢に除去できるか？
• RQ2 暗黙的ハイパグラディエントを用いた minimax の解法は、トリガー合成ベースの手法と比べて安定かつ効率的な防御を提供するか？
• RQ3 線形モデルとニューラルネットワークにおける I-BAU の収束特性と一般化保証は何か？
• RQ4 クリーンデータへのアクセスが限られている、または少ない場合、I-BAU はどう機能するか？
• RQ5 I-BAU はデータセットを跨いで、単一目標および複数目標バックドア攻撃に対して堅牢か？

主な発見

• I-BAU は 7 件のバックドア攻撃と 2 データセットに対して、6 つのベースラインと比較して堅牢性が同等または優れている。
• I-BAU はトリガー変動、攻撃設定、毒物比率、クリーンデータサイズに対して、ベースラインより堅牢である。
• I-BAU は計算効率が著しく高く、単一目標設定で最も効率的なベースラインに対して最大13倍高速である。
• I-BAU は 100 件のクリーンサンプルしか利用できない状況でも有効であり、ベースラインは失敗する。
• 理論的分析は、線形モデルとニューラルネットワークの両方に対する収束境界と一般化保証を提供する。
• 実証結果には、トリガー1つと複数トリガー攻撃の成功的緩和、及び未検討の複数目標攻撃シナリオも含まれる。