[論文レビュー] Towards A Critical Evaluation of Robustness for Deep Learning Backdoor Countermeasures

Huming Qiu, Hua Ma+5 more|arXiv (Cornell University)|Apr 13, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文は、Neural Cleanse、ABS、MNTD の3つの代表的な深層学習バックドア対策の耐性を厳密に評価し、それらが自らの脅威モデル内でも、データセット、モデルアーキテクチャ、タスク、ハイパーパrameter の一般的な変化に対して非耐性であることを明らかにしている。著者らは、形式的証明と実験的分析を通じて、これらの防御が容易に回避可能であり、特にモデルが十分に訓練された場合やハイパーパrameter がわずかに変更された場合に、バックドア検出における偽陰性が生じることを示している。

ABSTRACT

Since Deep Learning (DL) backdoor attacks have been revealed as one of the most insidious adversarial attacks, a number of countermeasures have been developed with certain assumptions defined in their respective threat models. However, the robustness of these countermeasures is inadvertently ignored, which can introduce severe consequences, e.g., a countermeasure can be misused and result in a false implication of backdoor detection. For the first time, we critically examine the robustness of existing backdoor countermeasures with an initial focus on three influential model-inspection ones that are Neural Cleanse (S&P'19), ABS (CCS'19), and MNTD (S&P'21). Although the three countermeasures claim that they work well under their respective threat models, they have inherent unexplored non-robust cases depending on factors such as given tasks, model architectures, datasets, and defense hyper-parameter, which are extit{not even rooted from delicate adaptive attacks}. We demonstrate how to trivially bypass them aligned with their respective threat models by simply varying aforementioned factors. Particularly, for each defense, formal proofs or empirical studies are used to reveal its two non-robust cases where it is not as robust as it claims or expects, especially the recent MNTD. This work highlights the necessity of thoroughly evaluating the robustness of backdoor countermeasures to avoid their misleading security implications in unknown non-robust cases.

研究の動機と目的

• 既存のバックドア対策、特にモデル検査ベースの防御の耐性を批判的に評価すること。これらは、その脅威モデル内では基本的に耐性があると仮定されてきた。
• 攻撃者が適応的でない状況でも失敗を引き起こす未発見の要因（例：モデルアーキテクチャ、データセット、タスクタイプ、ハイパーパrameter）を同定すること。
• MNTD のような代表的な防御が、トレーニングエポック数などのハイパーパrameter に極めて敏感であることを示し、検出性能の信頼性が低いことを明らかにすること。
• ユーザーがこれらの防御を導入する際に、非耐性の境界ケースを理解しないまま「偽の安全」を生じさせるリスクを強調すること。
• 実際の展開前に、バックドア対策の耐性を体系的に評価する新しい研究方向性を提唱すること。

提案手法

• Neural Cleanse、ABS、MNTD の3つの防御それぞれについて、定められた脅威モデルに整合する非耐性状況を特定するため、形式的証明または実験的ケーススタディを実施する。
• 各防御の元のソースコードを再現することで、同一条件での一貫性のある評価を保証する。
• モデルアーキテクチャ（例：VGG11）、データセット（例：CIFAR-10）、タスクタイプ（例：二値分類対マルチクラス分類）、ハイパーパrameter（例：トレーニングエポック数、バッチサイズ）などの主要要因を体系的に変化させる。
• MNTD に関しては、AUC を指標としてメタクラスファイアの性能を評価し、ハイパーパrameter の変更が検出精度に与える影響を分析する。
• 良性モデルとバックドア付きモデルを収束までトレーニングすることで、実世界の展開状況を再現する。これは、通常のシャロウモデルトレーニングとは対照的であり、早期に停止するものとは異なる。
• メタクラスファイアのスコア分布を用いて、検出性能がモデルの収束状態やバックドアの有無と相関するかを分析する。

実験結果

リサーチクエスチョン

• RQ1 既存のモデル検査ベースのバックドア対策は、異なるモデルアーキテクチャ、データセット、タスクにおいて、自らの定義された脅威モデル内でも耐性を示すのか？
• RQ2 トレーニングエポック数やバッチサイズといったハイパーパrameter が、MNTD のような防御の検出性能にどの程度影響を与えるのか？
• RQ3 Neural Cleanse や ABS のような防御において、標準的なトレーニング条件下で非耐性状況を形式的証明または実験的に示せるか？
• RQ4 MNTD のメタクラスファイアは、ソースに依存しないバックドアを想定しているにもかかわらず、ターゲットモデルが十分に訓練された場合に、バックドア付きモデルを正しく識別できないのはなぜか？
• RQ5 これらの防御で生じる偽陰性検出の根本的要因は何か？ そして、それらはバックドア検出のセキュリティ仮定をどのように損なうのか？

主な発見

• Neural Cleanse は、二値分類モデルに対して形式的に適用不能であると証明され、また、モデルがより深くなると、自らの脅威モデル内でも実験的に失敗することが示された。
• ABS は、通常（低）の汚染率でトレーニングされた場合、バックドア付きモデルを誤って「良性」と判定してしまう。これは実世界の設定で一般的な手法である。
• MNTD のメタクラスファイアは、テストモデルが4エポックでトレーニングされた場合にAUC 96％を達成するが、良性モデルが100エポックまでトレーニングされた場合、AUC が50％（ランダム推測）に低下する。これはトレーニング期間に極めて敏感であることを示している。
• 良性モデルとバックドア付きモデルを収束までトレーニングした場合、メタクラスファイアはしばしば良性モデルに対してバックドア付きモデルよりも高いスコアを割り当てるようになり、期待される検出挙動とは逆転する。
• メタクラスファイアの性能は、トレーニングエポック数やバッチサイズといったハイパーパrameter に極めて敏感であり、モデルが通常は十分に訓練される実世界の状況ではMNTD が信頼できない。
• MNTD においてバックドア付きモデルが高得点を取る傾向は、バックドアそのものの存在によるものではなく、バックドアサブタスクの収束（高いASR）によるものであり、これはバックドアの有無を信頼できる指標とはならない。