[論文レビュー] Backdoor Vulnerabilities in Normally Trained Deep Learning Models

Guanhong Tao, Zhenting Wang+8 more|arXiv (Cornell University)|Nov 29, 2022

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本稿は、データ汚染なしに通常訓練された深層学習モデルに、悪意あるトリガーが誤分類を引き起こす自然なバックドア脆弱性が広く存在することを明らかにした。著者らは、新規の検出フレームワークを用いて、56個の公開モデルにわたり315件の自然バックドアを同定した。これは、既存のスキャナーよりも多くの脆弱性が見逃されていることを示しており、モデルのハードニングを防御戦略として提案している。

ABSTRACT

We conduct a systematic study of backdoor vulnerabilities in normally trained Deep Learning models. They are as dangerous as backdoors injected by data poisoning because both can be equally exploited. We leverage 20 different types of injected backdoor attacks in the literature as the guidance and study their correspondences in normally trained models, which we call natural backdoor vulnerabilities. We find that natural backdoors are widely existing, with most injected backdoor attacks having natural correspondences. We categorize these natural backdoors and propose a general detection framework. It finds 315 natural backdoors in the 56 normally trained models downloaded from the Internet, covering all the different categories, while existing scanners designed for injected backdoors can at most detect 65 backdoors. We also study the root causes and defense of natural backdoors.

研究の動機と目的

• データ汚染なしに通常訓練された深層学習モデルにバックドア脆弱性が存在するかどうかを調査すること。
• トリガーのパターンとモデルの挙動に基づいて、自然バックドア脆弱性を体系的に分類すること。
• 多様なモデルアーキテクチャとデータセットにわたり、自然バックドアを同定できる汎用的な検出フレームワークを開発すること。
• モデルハードニング技術が自然バックドアを軽減する効果を評価すること。
• 既存のバックドア検出および防御手法が、自然に発生する脆弱性に対して無効であることを示すこと。

提案手法

• 自然バックドアの類縁を探索するため、以前に発表された20種類のインジェクション型バックドア攻撃をテンプレートとして活用した。
• トリガー生成技術（例：Patchベースのトリガーに適したGenL0、動的／特徴ベースのトリガーに適したFeatureL2）を用いた汎用的検出フレームワークを提案し、自然バックドアを同定した。
• 公開リポジトリから入手可能な56個の事前学習済みモデルを対象に、異なるアーキテクチャとデータセットにおいて体系的な実験を実施し、自然バックドアを検出した。
• 検出フレームワークで生成されたトリガーを用いて、Mothをベースとするハードニングフレームワークで再訓練することで、モデルハードニングの効果を評価した。
• トリガーの特性とモデルの挙動に基づき、自然バックドアを4つのクラスに分類し、ターゲット特化型の防御戦略を可能にした。
• 検出およびハードニングの性能を評価するため、ASR（悪意ある成功確率）とクリーン精度を指標として用いた。

実験結果

リサーチクエスチョン

• RQ1 モデルやデータのアーティファクトによって誘発される自然バックドア脆弱性—データ汚染なしに通常訓練された深層学習モデルに存在するか？
• RQ2 これらの自然バックドアは、多様な事前学習済みモデルとデータセットに広く存在するか？
• RQ3 統一された検出フレームワークは、複数の種類のトリガーとモデルアーキテクチャにわたり自然バックドアを同定できるか？
• RQ4 既存のバックドア防御機構（例：スキャン、プルーニング）は、自然に発生するバックドアに対して依然として有効か？
• RQ5 自然に生成されたトリガーを用いたモデルハードニングは、異なるバックドアカテゴリにわたり脆弱性を効果的に低減できるか？

主な発見

• 自然バックドア脆弱性は通常訓練された深層学習モデルに広く存在しており、56個の公開モデルにわたり315件の脆弱性が検出された。
• 提案された検出フレームワークは315件の自然バックドアを同定したが、インジェクション型バックドアを想定した既存のスキャナは最大で65件までしか同定できなかった。
• クラスIのパッチバックドアに対しては、GenL0で生成されたトリガーを用いたハードニングにより、4つのサブタイプのうち3つで脆弱性レベルが27％未満に低下したが、コンポジットバックドアを除いては効果が限定的であった。
• クラスIVのトリガー（FeatureL2経由）を用いたハードニングは、クラスIVバックドアの脆弱性を効果的に低減したが、クラスIには限定的な影響にとどまり、カテゴリ特化型防御の必要性を裏付けた。
• ハードニング後、モデルの精度は2％未満の低下にとどまり、トリガーに基づく再訓練による防御は実用的かつ実世界への導入に適していることが示された。
• 本研究は、既存のバックドア防御技術が自然バックドアに対してほとんど効果を示さないことを明らかにした。これは、深層学習セキュリティにおける新たな、極めて重要な脅威表面を示している。