[論文レビュー] Check Your Other Door! Establishing Backdoor Attacks in the Frequency Domain

Hasan Abed Al Kader Hammoud, Bernard Ghanem|arXiv (Cornell University)|Sep 12, 2021

Adversarial Robustness in Machine Learning参考文献 11被引用数 7

ひとこと要約

本論文は、周波数ドメインで動作する画期的なバックドア攻撃を提案しており、動的で見えない、かつ非常に効果的なトリガーを実現し、最先端の防御を回避する。モデル学習中に周波数ドメインでの操作を活用することで、多様なデータセットおよびアーキテクチャにおいて高い成功率を達成するとともに、既存の検出メカニズムからは検出されない。

ABSTRACT

Deep Neural Networks (DNNs) have been utilized in various applications ranging from image classification and facial recognition to medical imagery analysis and real-time object detection. As our models become more sophisticated and complex, the computational cost of training such models becomes a burden for small companies and individuals; for this reason, outsourcing the training process has been the go-to option for such users. Unfortunately, outsourcing the training process comes at the cost of vulnerability to backdoor attacks. These attacks aim at establishing hidden backdoors in the DNN such that the model performs well on benign samples but outputs a particular target label when a trigger is applied to the input. Current backdoor attacks rely on generating triggers in the image/pixel domain; however, as we show in this paper, it is not the only domain to exploit and one should always check the other doors. In this work, we propose a complete pipeline for generating a dynamic, efficient, and invisible backdoor attack in the frequency domain. We show the advantages of utilizing the frequency domain for establishing undetectable and powerful backdoor attacks through extensive experiments on various datasets and network architectures. The backdoored models are shown to break various state-of-the-art defences. We also show two possible defences that succeed against frequency-based backdoor attacks and possible ways for the attacker to bypass them. We conclude the work with some remarks regarding a network's learning capacity and the capability of embedding a backdoor attack in the model.

研究の動機と目的

• 従来のピクセルドメイン手法にとどまらず、周波数ドメインにおける深層ニューラルネットワークのバックドア攻撃に対する脆弱性を調査すること。
• 既存の検出および防御メカニズムを回避できる、動的で効率的かつ見えない周波数ドメインでのバックドア攻撃パイプラインを開発すること。
• 提案された攻撃が最先端の防御技術に対してどれほど頑健であるかを評価し、潜在的な対策を同定すること。
• モデル容量と周波数ドメインにおけるバックドアの埋め込み可能性との関係を分析すること。

提案手法

• 攻撃は、入力画像の周波数成分をフーリエドメインでの学習可能な変換を用いて変更することで、動的トリガーを生成する。
• 周波数ドメインでのトリガーは、入力のフーリエ表現に微分可能変換を適用することで、モデル学習中に埋め込む。
• この手法は、DNNが周波数ドメインの摂動に対して inherently 情報を保持する性質を活用しており、静かにバックドアを埋め込むことを可能にする。
• 周波数スペクトルにおけるエネルギー変化を最小限に抑え、画像品質を維持することで、攻撃が人間の知覚に気づかれにくくなるように設計されている。
• 一般化を示すために、複数のデータセット（例：CIFAR-10、ImageNet）およびアーキテクチャ（例：ResNet、VGG）でフレームワークを評価した。
• 2つの防御メカニズム（周波数フィルタリングと adversarial training）を検討し、それらを回避するための対策を提案した。

実験結果

リサーチクエスチョン

• RQ1 ピクセルドメインではなく周波数ドメインで、バックドア攻撃を効果的かつ見えない形で実行できるか？
• RQ2 周波数ドメインバックドア攻撃は、従来のピクセルベース攻撃と比較して、成功率とステルス性の点でどのように異なるか？
• RQ3 最先端の防御は、周波数ドメインバックドア攻撃を検出または緩和できる程度はどの程度か？
• RQ4 提案された防御の限界は何か。攻撃者はそれらをどのように回避できるか？
• RQ5 モデルの学習容量は、周波数ドメインバックドアの埋め込み可能性と検出可能性にどのように影響するか？

主な発見

• 周波数ドメインバックドア攻撃は、複数のデータセットおよびネットワークアーキテクチャでほぼ完璧な攻撃成功率（100％に近い）を達成した。
• 神経活性クラスタリングや勾配ベースの検出器を含む、既存の最先端防御メカニズムからも検出されなかった。
• 周波数フィルタリングに基づく防御は、未フィルタリングの周波数帯域を狙ってトリガーを適応させることで回避可能である。
• adversarial trainingに基づく防御は、既知の異常パターンを避けるように周波数ドメイントリガーを丁寧に設計すれば、効果が薄れる。
• 攻撃は異なるモデルアーキテクチャにわたって強く一般化しており、広範な適用可能性を示した。
• 本研究では、モデル容量がバックドアの埋め込み可能性と検出可能性に重要な役割を果たすことが明らかになった。大規模なモデルは、静かに周波数ベースのインジェクションに対してより感受性を示した。