[論文レビュー] Heat and Blur: An Effective and Fast Defense Against Adversarial Examples

Haya Brama, Tal Grinshpoun|arXiv (Cornell University)|Mar 17, 2020

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本論文は、レイヤーごとの関連性伝播（LRP）を用いて類似性ヒートマップを生成し、そのヒートマップが敵対的例の摂動を歪ませる一方で意味的コンテンツを保持するブラーに基づく入力変換を誘導することで、アーキテクチャに依存しない高速な防御手法を提案する。この手法は、VGG19を用いてImageNet上で強力なロバストネスを達成しており、摂動が低活動領域に制限された場合、攻撃が99％以上の確率で失敗する。

ABSTRACT

The growing incorporation of artificial neural networks (NNs) into many fields, and especially into life-critical systems, is restrained by their vulnerability to adversarial examples (AEs). Some existing defense methods can increase NNs' robustness, but they often require special architecture or training procedures and are irrelevant to already trained models. In this paper, we propose a simple defense that combines feature visualization with input modification, and can, therefore, be applicable to various pre-trained networks. By reviewing several interpretability methods, we gain new insights regarding the influence of AEs on NNs' computation. Based on that, we hypothesize that information about the "true" object is preserved within the NN's activity, even when the input is adversarial, and present a feature visualization version that can extract that information in the form of relevance heatmaps. We then use these heatmaps as a basis for our defense, in which the adversarial effects are corrupted by massive blurring. We also provide a new evaluation metric that can capture the effects of both attacks and defenses more thoroughly and descriptively, and demonstrate the effectiveness of the defense and the utility of the suggested evaluation measurement with VGG19 results on the ImageNet dataset.

研究の動機と目的

• 再訓練やアーキテクチャの変更なしに、すでに訓練済みのニューラルネットワークに適用可能な、効果的で高速な敵対的例防御を構築すること。
• LRPを用いたニューラルネットワークの解釈可能性を検討し、敵対的例がモデルの意思決定に与える影響を理解すること。
• 特徴可視化を活用して意味的に関連する画像領域を特定・保持し、微細な敵対的ノイズを除去する防御メカニズムを設計すること。
• 攻撃と防御がモデル行動に与える影響をより的確に捉える新しい評価指標を導入すること。

提案手法

• レイヤーごとの関連性伝播（LRP）を用いて、ネットワークの予測に最も寄与する入力特徴をピクセル単位で強調する関連性ヒートマップを生成する。
• 関連性スコアが最も高い上位5%のピクセルを、主な物体領域として特定し、入力変換中に保持する。
• 残りの95%のピクセルにガウスブラーを適用することで、敵対的摂動を破壊しながら意味的コンテンツを保持する。
• 防御は推論時のみに適用され、再訓練やアーキテクチャの変更が不要であるため、事前学習済みモデルと互換性がある。
• ヒートマップマスクを用いて摂動配置をガイドする反復的アプローチで、敵対的例を更新する適応的攻撃アルゴリズムを提案する。
• 攻撃と防御の影響をロバストネスとクリーン精度の両面で定量的に評価する新しい指標を用いて防御を評価する。

実験結果

リサーチクエスチョン

• RQ1 解釈可能性手法（例：LRP）は、入力が摂動されている場合でも、敵対的例に保存された意味的情報を明らかにできるか？
• RQ2 LRPヒートマップに基づく防御は、再訓練やアーキテクチャ変更なしに敵対的攻撃の成功率を効果的に低下させられるか？
• RQ3 LRPヒートマップに基づいて関連性の低い画像領域をブラー処理することで、事前学習済みモデルの敵対的攻撃に対するロバストネスにどのような影響を与えるか？
• RQ4 LRPが特定した最も関連性の高い画像領域に制限して摂動を加える場合、敵対的攻撃がどれほど失敗するか？
• RQ5 従来の正答率指標よりも、攻撃と防御の微妙な影響をより的確に捉える新しい評価指標は、効果的か？

主な発見

• 攻撃がLRPが特定した上位5%のピクセルのみに摂動を加えることを制限した場合、敵対的例の生成成功率が1%未満にまで低下した。
• 制限付きで成功した敵対的例は、低信頼度で意味的に関連するクラスに誤分類され、攻撃の有効性が限定的であることが示された。
• 提案された評価指標は、従来の正答率指標よりも攻撃と防御の性能をより的確かつ包括的に分析できた。
• 本手法は、事前学習済みのVGG19モデルを用いてImageNet上で強力なロバストネスを示し、推論時の計算オーバーヘッドは最小限に抑えられた。
• 攻撃がヒートマップガイドド領域を適応的に標的とする試みに対しても、防御は依然として有効であり、適応的攻撃戦略に対して耐性があることが示された。
• 本研究は、解釈可能性手法（例：LRP）が説明の目的だけでなく防御の目的にも再利用可能であり、ロバストネスのための新しいパラダイムを提供することを示唆している。