[論文レビュー] Trigger Hunting with a Topological Prior for Trojan Detection

Xiao Hu, Xiao Lin+4 more|arXiv (Cornell University)|Oct 15, 2021

Adversarial Robustness in Machine Learning参考文献 40被引用数 7

ひとこと要約

本論文は、トポロジー的事前知識を用いてコン pact で局所化されたトリガーを強制し、多様性損失を用いて複数の異なるトリガー候補を生成することで、トロイの木馬検出のための新たなトリガー探索手法を提案する。トリガー品質の向上とターゲットラベルに依存しない検出の実現により、限られた学習データでも TrojAI ベンチマークで最先端の性能を達成し、AUC は最大 0.92 に達する。

ABSTRACT

Despite their success and popularity, deep neural networks (DNNs) are vulnerable when facing backdoor attacks. This impedes their wider adoption, especially in mission critical applications. This paper tackles the problem of Trojan detection, namely, identifying Trojaned models -- models trained with poisoned data. One popular approach is reverse engineering, i.e., recovering the triggers on a clean image by manipulating the model's prediction. One major challenge of reverse engineering approach is the enormous search space of triggers. To this end, we propose innovative priors such as diversity and topological simplicity to not only increase the chances of finding the appropriate triggers but also improve the quality of the found triggers. Moreover, by encouraging a diverse set of trigger candidates, our method can perform effectively in cases with unknown target labels. We demonstrate that these priors can significantly improve the quality of the recovered triggers, resulting in substantially improved Trojan detection accuracy as validated on both synthetic and publicly available TrojAI benchmarks.

研究の動機と目的

• トロイの木馬検出における高次元的かつ非構造的なトリガー探索空間の課題に対処すること。
• 特にラベルが未知である現実世界のシナリオにおいて、ターゲットラベルの事前知識なしに効果的な検出を可能にすること。
• 回復されたトリガーの品質とコンパクト性を向上させ、誤検出を低減し、検出の信頼性を向上させること。
• 限られた学習データで効率的にスケーリングできる、ラベルに依存しない堅牢な逆設計フレームワークの開発。

提案手法

• 回復されたトリガー内の連結成分の数を制約するため、持続的ホモロジーに基づくトポロジー損失を導入し、空間的なコンパクト性と局所化を確保する。
• 複数回の逆設計実行において、構造的に異なる複数のトリガー候補を生成するための多様性損失を採用する。
• クリーンな入力上で潜在的なトリガーを探索するため、トポロジー損失と多様性損失の両方を用いた勾配ベース最適化を実施する。
• 回復されたトリガーから幾何的特徴、色の特徴、トポロジー的特徴に加え、ネットワークの活性化パターンを抽出し、後続の検出に用いる。
• これらの特徴を用いてトロイの木馬検出分類器を学習させ、正常モデルとトロイ化済みモデルを区別する。
• 教師ありおよび教師なしの両検出設定をサポートし、柔軟性と広範な適用可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 トポロジー的事前知識は、逆設計ベースのトロイの木馬検出における回復トリガーのコンパクト性と局所化を向上させることができるか？
• RQ2 ターゲットラベルが不明な状況で、多様なトリガー候補を生成することで検出性能がどのように向上するか？
• RQ3 データが限られる条件下で、トポロジー的および多様性損失は検出精度をどの程度向上させるか？
• RQ4 本手法は、検出のためのラベル付き学習データを一切必要とせずに最先端の性能を達成できるか？

主な発見

• 提案手法は TrojAI-Round4 ベンチマークで AUC 0.92 を達成し、ベースラインを上回り、最先端の性能を示した。
• トポロジー損失を削除すると AUC が 0.89 に低下し、そのトリガーのコンパクト性と探索効率向上における役割が裏付けられた。
• 多様性損失を削除すると AUC が 0.85 に低下し、ラベルに依存しない条件下で真のトリガーを回復する確率を高める上でその重要性が明確になった。
• 25 個の学習サンプルでのみの条件下でも 77% の精度を達成し、ベースラインを著しく上回り、限られたデータに対する頑健性を示した。
• トポロジー損失により収束が加速し、有効なトリガーを発見するための反復回数が約 50 回から約 30 回に削減された。
• 教師ありおよび教師なしの両検出設定においても、強力な性能を維持しており、広範な適用可能性が裏付けられた。