[論文レビュー] ASSET: Robust Backdoor Data Detection Across a Multiplicity of Deep Learning Paradigms

Minzhou Pan, Yi Zeng+3 more|arXiv (Cornell University)|Feb 22, 2023

COVID-19 diagnosis using AI被引用数 6

ひとこと要約

ASSETは、2段階のネスト型オフセットループを用いて、クリーンサンプルと汚染サンプルの間でモデル挙動を分離することで、エンドツーエンドの教師あり学習（SL）、自己教師あり学習（SSL）、転移学習（TL）の各設定において、堅牢なバックドア検出を実現する画期的なアクティブバックドア検出手法を提案する。本手法は、最先端の性能を達成しており、特に最先端のクリーンラベルバックドア攻撃を検出可能であり、SSLでは既存手法比で検出率が69.3%向上、TLでは33.2%向上を達成している。

ABSTRACT

Backdoor data detection is traditionally studied in an end-to-end supervised learning (SL) setting. However, recent years have seen the proliferating adoption of self-supervised learning (SSL) and transfer learning (TL), due to their lesser need for labeled data. Successful backdoor attacks have also been demonstrated in these new settings. However, we lack a thorough understanding of the applicability of existing detection methods across a variety of learning settings. By evaluating 56 attack settings, we show that the performance of most existing detection methods varies significantly across different attacks and poison ratios, and all fail on the state-of-the-art clean-label attack. In addition, they either become inapplicable or suffer large performance losses when applied to SSL and TL. We propose a new detection method called Active Separation via Offset (ASSET), which actively induces different model behaviors between the backdoor and clean samples to promote their separation. We also provide procedures to adaptively select the number of suspicious points to remove. In the end-to-end SL setting, ASSET is superior to existing methods in terms of consistency of defensive performance across different attacks and robustness to changes in poison ratios; in particular, it is the only method that can detect the state-of-the-art clean-label attack. Moreover, ASSET's average detection rates are higher than the best existing methods in SSL and TL, respectively, by 69.3% and 33.2%, thus providing the first practical backdoor defense for these new DL settings. We open-source the project to drive further development and encourage engagement: https://github.com/ruoxi-jia-group/ASSET.

研究の動機と目的

• エンドツーエンドの教師あり学習（SL）、自己教師あり学習（SSL）の適応、転移学習（TL）を含む多様なディープラーニングパラダイムに一般化可能な、堅牢なバックドア検出手法の不足に取り組む。
• 既存の検出手法の主な限界、特に攻撃タイプ、汚染率、学習パラダイムの変動に対する一般化能力の低さ、特に最先端のクリーンラベルバックドア攻撃では失敗することを特定する。
• 攻撃手法、汚染率、学習設定の変動に対しても高い性能を維持できる検出フレームワークを構築する。特に、先行手法が失敗するか適用不可能となる状況でも有効であることを目指す。
• データ効率の高い学習パラダイムとして登場するSSLやTLにおいて、実用的なバックドア防御を可能にする。現状、これらの分野には有効な検出手法が存在しない。
• 検出されたサンプルを用いて逆方向勾配を適用するシンプルなアンラーニングステップを組み込むことで、適応的攻撃に対する耐性を強化し、防御の堅牢性を確保する。

提案手法

• 2段階のネスト型オフセットループを提案し、モデル挙動を能動的に操作する：外側のループはモデルの意思決定境界を調整してクリーンサンプルと汚染サンプルの差を拡大し、内側のループは学習されたオフセットに基づいてそれらを分離するようにモデルを微調整する。
• 訓練中に逆方向のオフセットを適用することで、クリーンサンプルと汚染サンプルの出力が明確に分離するように損失関数を設計し、モデル内部表現における分離を有効に実現する。
• モデルの信頼度とサンプル間の予測の乖離に基づいて、最適な不審サンプル数を動的に決定する手続きを導入する。
• バックドアが仕込まれたモデルの出力と中間活性化を活用してオフセット最適化プロセスをガイドし、静的な統計的性質ではなく、モデル挙動に基づく検出を実現する。
• SSLおよびTL設定において、事前学習済みの埋め込み関数や凍結済み特徴抽出器を用いて、不審なサンプルの特定に向けた埋め込みを生成することで、検出フレームワークを上流に適用する。
• 検出されたサンプルに対して逆方向勾配を用いたアンラーニングステップを適用し、バックドアの影響をさらに低減することで、適応的攻撃に対する耐性を強化する。

実験結果

リサーチクエスチョン

• RQ1 既存のバックドア検出手法は、エンドツーエンドのSL、SSLの適応、TLといった多様なディープラーニングパラダイムにおいて一貫した性能を維持できるか？
• RQ2 自己教師あり学習（SSL）や転移学習（TL）の文脈で、顕著な特徴レベルの摂動を用いながらもラベルを変更しない最先端のクリーンラベルバックドア攻撃に対して、既存の検出手法はどの程度の性能を示すか？
• RQ3 汚染率、攻撃タイプ、モデルアーキテクチャの変動に強く、複数の学習パラダイムにわたる統一された検出フレームワークを設計可能か？
• RQ4 SSLやTL設定において、検出が可能であるメカニズムは何か？これら分野では、これまでに検出手法の評価がなされていない。
• RQ5 既知の防御戦略に応じてトリガーを変更するか、モデル挙動を変更する適応的攻撃に対しても、検出が耐性を持つようにはできるか？

主な発見

• 既存のバックドア検出手法は、ラベルを変更せずに顕著でない特徴レベルの摂動を用いる最先端のクリーンラベルバックドア攻撃を検出できない。
• エンドツーエンドのSL設定では、すべての既存手法が攻撃タイプや汚染率の変動に応じて一貫性のない性能を示し、極端な汚染率（例：0.05% または 20%）では検出率が著しく低下する。
• ASSETは、評価されたすべての設定でクリーンラベルバックドア攻撃を検出可能な唯一の手法であり、この高度な脅威に対して特筆すべき堅牢性を示している。
• SSL設定では、ASSETは既存手法の最良のものと比較して平均検出率が69.3%高い。これは、このパラダイムにおける最初の有効なバックドア検出を意味する。
• TL設定では、ASSETは既存手法の最良のものと比較して検出精度を33.2%向上させ、この新興学習設定における最初の実用的防御を確立した。
• 検出されたサンプルを用いたアンラーニングを組み合わせることで、ASSETはモデル不一致下でもホワイトボックスおよび GRAYボックスの適応的攻撃に対して高い防御性能を維持する。