[論文レビュー] Backdoor Attacks in the Supply Chain of Masked Image Modeling

Xinyue Shen, Xinlei He+4 more|arXiv (Cornell University)|Oct 4, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿は、最先端の自己教師付き学習手法であるマスク画像モデリング（MIM）のサプライチェーンにおけるバックドア攻撃の最初の体系的分析を提示する。本稿では、事前学習段階で効果的な新しいトリガーに基づくバックドア攻撃を提案し、CIFAR10で98.89%の攻撃成功率を達成する。また、トリガーのパターンと数が成功の鍵要因であることを特定するとともに、リリース段階の攻撃が、すべてのテスト済み検出手法を回避することを明らかにする。

ABSTRACT

Masked image modeling (MIM) revolutionizes self-supervised learning (SSL) for image pre-training. In contrast to previous dominating self-supervised methods, i.e., contrastive learning, MIM attains state-of-the-art performance by masking and reconstructing random patches of the input image. However, the associated security and privacy risks of this novel generative method are unexplored. In this paper, we perform the first security risk quantification of MIM through the lens of backdoor attacks. Different from previous work, we are the first to systematically threat modeling on SSL in every phase of the model supply chain, i.e., pre-training, release, and downstream phases. Our evaluation shows that models built with MIM are vulnerable to existing backdoor attacks in release and downstream phases and are compromised by our proposed method in pre-training phase. For instance, on CIFAR10, the attack success rate can reach 99.62%, 96.48%, and 98.89% in the downstream phase, release phase, and pre-training phase, respectively. We also take the first step to investigate the success factors of backdoor attacks in the pre-training phase and find the trigger number and trigger pattern play key roles in the success of backdoor attacks while trigger location has only tiny effects. In the end, our empirical study of the defense mechanisms across three detection-level on model supply chain phases indicates that different defenses are suitable for backdoor attacks in different phases. However, backdoor attacks in the release phase cannot be detected by all three detection-level methods, calling for more effective defenses in future research.

研究の動機と目的

• マスク画像モデリング（MIM）—最先端の自己教師付き学習手法—のサプライチェーン全体におけるバックドア攻撃リスクを体系的に分析すること。
• MIMモデルの事前学習、リリース、および下流段階におけるバックドア攻撃への脆弱性を評価すること。
• 特にMIMの生成メカニズムの文脈において、事前学習段階でのバックドア成功に影響を与える要因を同定すること。
• モデルレベル、入力レベル、データセットレベルの既存防御機構の、MIMサプライチェーンの異なる攻撃段階における有効性を評価すること。
• 特にリリース段階のバックドア攻撃（タイプII）が、すべての3段階の検出手法を回避する理由を解明し、今後の防御研究に与える示唆を明らかにすること。

提案手法

• MIMの事前学習段階でトリガーの数を増やすことで攻撃成功率を向上させる、新しいバックドア攻撃手法を提案する。
• MIMのマスク・アンド・予測メカニズムを活用し、複数のトリガーを含む画像をデータセットに汚染することで、事前学習段階にトリガーを注入する戦略を採用する。
• 白黒トリガーと、公開済みのHidden Trigger Backdoor Attack（HTBA）トリガーを用いて、トリガーのパターンが攻撃性能に与える影響を評価する。
• スペクトル署名を用いたデータセットレベルの防御により、特徴表現の共分散を分析することで、事前学習データセット内の汚染されたサンプルを検出する。
• ラベル固有の変更コストを用いたモデルレベル検出と、摂動された入力のエントロピー分布分析を用いた入力レベル検出を実施する。
• トリガーの性質（パターン、数、位置、サイズ、汚染率）に関するアブレーションスタディを実施し、事前学習段階の攻撃における主な成功要因を特定する。

実験結果

リサーチクエスチョン

• RQ1 MIMモデルは、サプライチェーン全体（事前学習、リリース、下流段階）において、バックドア攻撃に対してどれほど脆弱であるか？
• RQ2 MIMの事前学習段階におけるバックドア成功に影響を与える主なトリガー特性（パターン、数、位置、サイズ、汚染率）は何か？
• RQ3 既存の防御機構（モデルレベル、入力レベル、データセットレベル）は、MIMサプライチェーンの全段階でバックドア攻撃を効果的に検出できるか？
• RQ4 なぜリリース段階のバックドア攻撃（タイプII）は、すべての3段階の防御レベルを回避するのか？ これは今後の防御研究にどのような示唆を与えるか？
• RQ5 対照的学習を想定して開発された既存のバックドア攻撃は、MIMにどの程度適用可能か？ また、MIMでの有効な悪用を行うには、どのような変更が必要か？

主な発見

• 提案されたバックドア攻撃は、CIFAR10で98.89%、STL10で97.74%の攻撃成功率を、事前学習段階で達成し、先行研究を大きく上回る。
• トリガーのパターンと数が、攻撃成功率に顕著な影響を与える主な要因であり、トリガーの位置はMIMの事前学習段階における性能にほとんど影響しない。
• 対照的学習を想定した既存のバックドア攻撃はMIMでは効果を発揮せず、CIFAR10とSTL10ではそれぞれベースラインより2.83%および13.78%高い攻撃成功率にとどまる。
• スペクトル署名を用いたデータセットレベルの防御は、事前学習段階（タイプI）の汚染サンプルを効果的に検出できるが、低汚染率（例：1%）ではバックドアスコアがクリーンスコアを下回るため、検出に失敗する。
• モデルレベルおよび入力レベルの防御は、下流段階のバックドア攻撃を効果的に検出できるが、3段階の検出レベルすべてがリリース段階の攻撃（タイプII）を検出できない。
• 3段階の検出手法がリリース段階のバックドア攻撃を同定できないことから、新たな防御機構の開発が急務である、深刻なセキュリティギャップが明らかになった。