[論文レビュー] Rethinking the Backdoor Attacks' Triggers: A Frequency Perspective

Yi Zeng, Won Park+2 more|arXiv (Cornell University)|Apr 7, 2021

Adversarial Robustness in Machine Learning参考文献 35被引用数 15

ひとこと要約

本稿では、深層学習における既存のバックドアトリガが、データセットや解像度にかかわらず著しい高周波数アーティファクトを示すことが明らかになった。これにより、周波数ドメイン解析を用いて98.5%の正確さでトリガを検出可能である。本稿では、攻撃効果を維持しつつ高周波数アーティファクトのない滑らかなトリガを生成するための二段階最適化ベースの手法を提案し、防御の設計にこのような周波数非可視トリガを組み込むことで、防御の強化が著しく可能であることを示している。

ABSTRACT

Backdoor attacks have been considered a severe security threat to deep learning. Such attacks can make models perform abnormally on inputs with predefined triggers and still retain state-of-the-art performance on clean data. While backdoor attacks have been thoroughly investigated in the image domain from both attackers' and defenders' sides, an analysis in the frequency domain has been missing thus far. This paper first revisits existing backdoor triggers from a frequency perspective and performs a comprehensive analysis. Our results show that many current backdoor attacks exhibit severe high-frequency artifacts, which persist across different datasets and resolutions. We further demonstrate these high-frequency artifacts enable a simple way to detect existing backdoor triggers at a detection rate of 98.50% without prior knowledge of the attack details and the target model. Acknowledging previous attacks' weaknesses, we propose a practical way to create smooth backdoor triggers without high-frequency artifacts and study their detectability. We show that existing defense works can benefit by incorporating these smooth triggers into their design consideration. Moreover, we show that the detector tuned over stronger smooth triggers can generalize well to unseen weak smooth triggers. In short, our work emphasizes the importance of considering frequency analysis when designing both backdoor attacks and defenses in deep learning.

研究の動機と目的

• 異なるデータセットや解像度における既存のバックドアトリガの周波数ドメイン特性を調査すること。
• 現在のバックドアトリガにおける高周波数アーティファクトの根本的要因と、検出可能性に与える影響を特定すること。
• 高周波数成分を含まない滑らかなバックドアトリガを生成する手法を開発し、攻撃成功率を維持すること。
• さまざまな防御手法における滑らかなトリガの一般化性能と検出可能性を評価すること。
• 既存の防御が、周波数非可視トリガをその学習および検出パイプラインに組み込むことで、どのように強化できるかを実証すること。

提案手法

• 複数のデータセットおよび解像度において、フーリエ変換を用いた周波数ドメイン解析を通し、既存のバックドアトリガの包括的分析を行う。
• 滑らかなトリガ生成問題を、隠れ性と攻撃効果の両立を最適化する二段階最適化問題として定式化する。
• 二段階最適化問題を解く実用的なヒューリスティックアルゴリズムを提案し、高周波成分を最小限に抑えた滑らかなトリガを生成する。
• 攻撃タイプやモデルの事前知識なしに学習可能な、データ拡張を用いた教師あり学習に基づく周波数ベースの検出パイプラインを設計する。
• 滑らかなトリガで微調整した検出器を用い、未観測のローパスフィルタ処理済みトリガへの一般化性能を向上させ、さまざまなトリガタイプにおける検出性能を評価する。
• Meta Neural Analysis (MNA) などの防御機構に対して、アブレーションスタディを実施し、滑らかなトリガをその設計に組み込むことで得られる改善効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 既存のバックドアトリガは、異なるデータセットや画像解像度において一貫して高周波数アーティファクトを示すか？
• RQ2 現在のバックドアトリガ生成手法における高周波数アーティファクトの根本的要因は何か？
• RQ3 高周波数成分を排除しつつも、高い攻撃成功率を維持できる滑らかなバックドアトリガを生成可能か？
• RQ4 攻撃やモデルの事前知識なしに、周波数ドメイン検出が既存のトリガを効果的に特定可能か？
• RQ5 防御が、学習および検出プロセスに滑らかなトリガを組み込むことで、より頑健にできるか？

主な発見

• 既存のバックドアトリガは、複数のデータセットおよび解像度において一貫して著しい高周波数アーティファクトを示しており、周波数解析によって検出可能である。
• 攻撃やモデルの事前知識なしに、周波数ベースの検出パイプラインが既存のトリガを98.50%の検出率で特定した。
• 高周波数アーティファクトは、トリガパターンそのものと、トリガ生成に用いられる挿入手法の両方の要因に起因する。
• 提案された二段階最適化ベースの手法により、高周波数成分を排除しつつも高い攻撃成功率を維持する滑らかなトリガが生成可能である。
• 滑らかなトリガで微調整した検出器は、未観測のローパスフィルタ処理済みトリガへの一般化性能が高く、さまざまなトリガタイプにおいて平均89.37%の検出正確さを達成した。
• MNA などの防御を、滑らかなトリガを考慮するようにアップグレードすることで、AUCスコアが 0.0776 から 0.694 に向上し、検出正確さも 42.85% に上昇した。これにより、防御の頑健性が著しく向上することが示された。