[論文レビュー] Watch Out! Simple Horizontal Class Backdoor Can Trivially Evade Defense

Hua Ma, Shang Wang+8 more|arXiv (Cornell University)|Oct 1, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

この論文は、無害でタスクに無関係な特徴（例：天候、顔の表情）を活用して、単純なトリガーと組み合わせた場合にのみバックドアが活性化される、画期的な水平クラスバックドア（HCB）攻撃を紹介している。垂直クラスバックドアとは異なり、本研究でテストした9つの最先端防御手法すべてを回避し、現在のバックドア検出メカニズムに深刻な盲点を露呈している。

ABSTRACT

All current backdoor attacks on deep learning (DL) models fall under the category of a vertical class backdoor (VCB) -- class-dependent. In VCB attacks, any sample from a class activates the implanted backdoor when the secret trigger is present. Existing defense strategies overwhelmingly focus on countering VCB attacks, especially those that are source-class-agnostic. This narrow focus neglects the potential threat of other simpler yet general backdoor types, leading to false security implications. This study introduces a new, simple, and general type of backdoor attack coined as the horizontal class backdoor (HCB) that trivially breaches the class dependence characteristic of the VCB, bringing a fresh perspective to the community. HCB is now activated when the trigger is presented together with an innocuous feature, regardless of class. For example, the facial recognition model misclassifies a person who wears sunglasses with a smiling innocuous feature into the targeted person, such as an administrator, regardless of which person. The key is that these innocuous features are horizontally shared among classes but are only exhibited by partial samples per class. Extensive experiments on attacking performance across various tasks, including MNIST, facial recognition, traffic sign recognition, object detection, and medical diagnosis, confirm the high efficiency and effectiveness of the HCB. We rigorously evaluated the evasiveness of the HCB against a series of eleven representative countermeasures, including Fine-Pruning (RAID 18'), STRIP (ACSAC 19'), Neural Cleanse (Oakland 19'), ABS (CCS 19'), Februus (ACSAC 20'), NAD (ICLR 21'), MNTD (Oakland 21'), SCAn (USENIX SEC 21'), MOTH (Oakland 22'), Beatrix (NDSS 23'), and MM-BD (Oakland 24'). None of these countermeasures prove robustness, even when employing a simplistic trigger, such as a small and static white-square patch.

研究の動機と目的

• 既存の防御を回避できる、自然に存在するタスクに無関係な特徴を活用する新しいタイプのバックドア攻撃を特定・実証すること。
• 現在の防御メカニズムの基盤となっている「すべてのバックドア攻撃は垂直クラスバックドア（VCB）である」という仮定に挑戦すること。
• ソースクラスに依存しないまたはソースクラスに特化したバックドアを主な標的として設計された既存の防御が、新しい単純で汎用的なバックドアタイプに対して脆弱であることを暴露すること。
• SCABに特化した対策が広く採用されていることに鑑みて、VCB攻撃に偏らない防御の開発を提言すること。

提案手法

• バックドアは、自然に存在するタスクに無関係な特徴（例：交通標識認識における雨、顔認識における笑顔）と、同時にトリガーが存在するサンプルでのみ活性化される水平クラスバックドア（HCB）攻撃を提案する。
• 複雑なトリガー設計に依存するのではなく、水平クラス構造そのものに起因する回避性を示すために、単純な静的白い正方形トリガーを用いる。
• 「有効なサンプル」を、無害な特徴とトリガーの両方を含む任意のクラスからのサンプルとして定義し、これらのみがバックドアを活性化する。
• 特定のソースクラスに限定してバックドアを活性化するHCBの変種を導入し、非ソースクラスのサンプルにおける偽陽性率を低く保ちながらも高い攻撃成功率を維持する。
• MNIST、顔認識、GTSRB、オブジェクト検出タスクにおいて、標準的なディープラーニングモデル（例：CNN）を用いて攻撃の効果を評価する。
• モデルおよびデータの外部委託環境下で、9つのSOTA防御（例：Neural Cleanse、STRIP、MOTH）に対するHCBの回避性をテストするために評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 垂直クラス依存性のないバックドア攻撃タイプが存在し、それらがVCB攻撃を想定した防御を回避できるか？
• RQ2 自然に存在するタスクに無関係な特徴（例：天候、顔の表情）を活用して、汎用的で巧妙なバックドア攻撃を構築できるか？
• RQ3 高度な検出技術を用いているにもかかわらず、なぜ既存の最先端バックドア防御が提案されたHCB攻撃に失敗するのか？
• RQ4 HCBは、さまざまなトリガー種別（例：変形、反射）やバックドアバージョン（例：ソースクラス特化型）にどの程度一般化可能か？
• RQ5 HCBが現在の防御を回避するモデルおよびデータの外部委託環境において、有効な緩和戦略は何か？

主な発見

• HCB攻撃は、MNIST、顔認識、交通標識認識、オブジェクト検出を含むすべての評価タスクでほぼ完璧な攻撃成功率（ASR > 95%）を達成した。
• 単純な白い正方形トリガーを用いた場合、Fine-Pruning、STRIP、Neural Cleanse、ABS、Februus、MNTD、SCAn、MOTH、Beatrixの9つのSOTA防御すべてがHCB攻撃を検出または緩和できなかった。
• 同じ無害な特徴を用いて訓練されたモデルに対しても防御が適用された場合でも、HCB攻撃は有効に保たれ、水平クラス構造がクラス条件付き検出メカニズムの根幹を揺るがすことを示している。
• HCBにソースクラス特化型の挙動を追加した場合、攻撃成功率（ASR > 85%）は高い水準を維持し、非ソースクラスのサンプルにおける偽陽性率（FPR）は低く安定したまま保たれた。
• 白い正方形トリガー、変形、反射などの異なるトリガー種別においてもHCBの性能は同等であり、白い正方形トリガーが最も高いASRを達成しており、トリガーの変化に対して高い耐性を示している。
• HCB攻撃は静的トリガーに限定されず、動的または複合トリガーへと拡張可能であり、その一般性と適応性を示している。