[論文レビュー] Exposing Backdoors in Robust Machine Learning Models.

Ezekiel Soremekun, Sakshi Udeshi+2 more|arXiv (Cornell University)|Feb 25, 2020

Adversarial Robustness in Machine Learning参考文献 48被引用数 16

ひとこと要約

この論文は、敵対的ロバストな深層ニューラルネットワーク（DNN）が、特徴表現に現れるバックドア攻撃に対して脆弱であることを示している。著者らは、特徴クラスタリングを用いたAEGISと呼ばれる検出手法を提案し、標的クラス検出において91.6%の精度と11.1%の偽陽性率を達成した。

ABSTRACT

The introduction of robust optimisation has pushed the state-of-the-art in defending against adversarial attacks. However, the behaviour of such optimisation has not been studied in the light of a fundamentally different class of attacks called backdoors. In this paper, we demonstrate that adversarially robust models are susceptible to backdoor attacks. Subsequently, we observe that backdoors are reflected in the feature representation of such models. Then, this observation is leveraged to detect backdoor-infected models via a detection technique called AEGIS. Specifically, AEGIS uses feature clustering to effectively detect backdoor-infected robust Deep Neural Networks (DNNs). In our evaluation of several visible and hidden backdoor triggers on major classification tasks using CIFAR-10, MNIST and FMNIST datasets, AEGIS effectively detects robust DNNs infected with backdoors. AEGIS detects a backdoor-infected model with 91.6% accuracy, without any false positives. Furthermore, AEGIS detects the targeted class in the backdoor-infected model with a reasonably low (11.1%) false positive rate. Our investigation reveals that salient features of adversarially robust DNNs break the stealthy nature of backdoor attacks.

研究の動機と目的

• 敵対的ロバストなDNNが敵対的例に対して防御を備えているにもかかわらず、バックドア攻撃に対して脆弱であるかどうかを調査すること。
• バックドアトレーニングがロバストモデルの内部特徴表現に与える影響を分析すること。
• トレーニングデータやラベルにアクセスできない状況でも、バックドア感染したロバストDNNを同定できる検出手法を開発すること。
• 提案手法の有効性を、多様なデータセットおよびバックドアトレーニングタイプにおいて評価すること。

提案手法

• 著者らは、敵対的ロバストDNNの特徴表現を分析し、バックドア汚染を示すパターンを同定する。
• AEGISは、バックドアトレーニングに起因する特徴空間内の異常を検出するために特徴クラスタリングを用いる。
• この手法は、バックドアトレーニングがロバストモデルの特徴の重要性と分布を破壊することに着目している。
• 検出は、トレーニングデータやモデル重みに依存せず、推論時における特徴のみに依存して行われる。
• 通常入力とトレーニング済みトレーニング入力の両方における特徴表現のクラスタリングのずれを測定することで、バックドア感染モデルを同定する。
• 特徴空間における特定のクラスに関連するクラスタシフトを分析することで、標的クラスの予測を推定する。

実験結果

リサーチクエスチョン

• RQ1 敵対的ロバストなDNNは、敵対的例に対してロバストであるにもかかわらず、バックドア攻撃に対して脆弱であるか？
• RQ2 バックドアトレーニングは、ロバストDNNの特徴表現にどのように影響を与えるか？
• RQ3 トレーニングデータやラベルにアクセスできない状況でも、ロバストモデルにおけるバックドア感染を検出できるか？
• RQ4 AEGISの検出精度と偽陽性率は、異なるデータセットおよびトレーニングタイプにおいてどのように変動するか？

主な発見

• 敵対的ロバストなDNNは、敵対的摂動に対してロバストであるにもかかわらず、バックドア攻撃に対して脆弱であり、その整合性が損なわれる。
• バックドアトレーニングは、ロバストモデルの特徴表現に検出可能なインパルスを残し、その隠れ性を損なう。
• AEGISは91.6%の精度でバックドア感染モデルを検出でき、悪意あるモデルを同定するうえで高い信頼性を示した。
• バックドア感染モデルにおける標的クラス予測において、11.1%の偽陽性率を達成した。
• CIFAR-10、MNIST、FMNISTを含む複数のデータセットにおいて、検出性能が一貫していた。
• 本研究では、ロバストモデルにおける顕著な特徴がバックドアによって破壊されることを明らかにした。これにより、クラスタリング分析による有効な検出が可能となった。