[論文レビュー] Identifying Classes Susceptible to Adversarial Attacks

Rangeet Pan, Johirul Islam+2 more|arXiv (Cornell University)|May 30, 2019

Adversarial Robustness in Machine Learning参考文献 32被引用数 7

ひとこと要約

本稿では、高次元特徴空間の幾何構造を分析することで、敵対的攻撃に対して最も感受性が高い上位$k$クラスを特定する距離に基づく手法を提案する。最近接ネイバーの飛び越え距離と、新規に導入された「禁断距離」の上限を用いて、誤分類の可能性を予測する敵対的マップを構築し、計算コストを追加せずにCIFAR-10/ResNet-32で$k=4$の状況で99.9%の精度を達成。CEおよびRCE学習ベースの防御手法を上回る性能を示した。

ABSTRACT

Despite numerous attempts to defend deep learning based image classifiers, they remain susceptible to the adversarial attacks. This paper proposes a technique to identify susceptible classes, those classes that are more easily subverted. To identify the susceptible classes we use distance-based measures and apply them on a trained model. Based on the distance among original classes, we create mapping among original classes and adversarial classes that helps to reduce the randomness of a model to a significant amount in an adversarial setting. We analyze the high dimensional geometry among the feature classes and identify the k most susceptible target classes in an adversarial attack. We conduct experiments using MNIST, Fashion MNIST, CIFAR-10 (ImageNet and ResNet-32) datasets. Finally, we evaluate our techniques in order to determine which distance-based measure works best and how the randomness of a model changes with perturbation.

研究の動機と目的

• 敵対的攻撃がすべてのクラスに均等に影響を与えるのか、あるいは一部のクラスが本質的により脆弱であるのかを特定すること。
• 深層ニューラルネットワーク分類器における、特徴空間の幾何的性質を用いて、$k$個の最も感受性が高いターゲットクラスを同定する手法を開発すること。
• クラス間距離を活用することで、敵対的状況下でのモデルのランダムネスを低減する敵対的マップを構築すること。
• 感受性のあるクラスを同定するために、4つの距離ベースの測定法（t-SNE、N次元ユークリッド、N次元コサイン、最近接ネイバー飛び越え）の性能を評価・比較すること。
• 敵対的摂動の能力に対する上限としての「禁断距離」の概念を導入し、検証すること。

提案手法

• t-SNE、N次元ユークリッド、N次元コサイン、最近接ネイバー飛び越えの4つの測定法を用いて、深層特徴空間におけるクラス間距離を計算する。
• これらの距離を用いて敵対的マップを構築し、各実際のクラスに対する誤分類の可能性が高いターゲットクラスを予測する。
• 誤分類がこの距離を超えては発生しないという制約を課すために、モデル固有の摂動の上限として「禁断距離」（$F_D$）を導入する。
• 最近接ネイバー飛び越え距離を用いてモデルのエントロピーを最小化し、$F_D$を正確に推定することで、感受性のあるクラスの検出を強化する。
• しきい値戦略を採用：クラス$c_i$と$c_j$間の飛び越え距離が$F_D$を超える場合、$c_i$から$c_j$への誤分類は不可能であると判断する。
• MNIST、Fashion-MNIST、CIFAR-10（ImageNetおよびResNet-32を用いて）で本手法を評価し、CEおよびRCE学習ベースの防御手法と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 すべてのクラスが敵対的攻撃に対して同じ程度感受性を示すのか、それとも一部のクラスに高い脆弱性が見られるのか？
• RQ2 どの距離ベースの測定法が、感受性のあるクラスを同定するための特徴空間の幾何的構造を最も適切に捉えているか？
• RQ3 「禁断距離」の概念が、敵対的摂動能力に対する信頼できる上限として機能するか？
• RQ4 感受性のあるクラスの数（$k$）が検出精度に与える影響は何か？また、異なるモデルにおける最適な$k$は何か？
• RQ5 本手法は、CEおよびRCEのような学習ベースの防御技術を上回って、敵対的ターゲットクラスを同定できるか？

主な発見

• 最近接ネイバー飛び越え距離測定法が、モデルのエントロピーを最も効果的に低減し、禁断距離（$F_D$）を正確に計算でき、感受性のあるクラスの同定に極めて正確であることが判明した。
• CIFAR-10/ResNet-32モデルにおいて、$k=4$の状況で本手法は99.9%の精度で感受性のあるターゲットクラスを同定した。これは、CE（71.5%）およびRCE（92.6%）学習ベース手法を上回る性能であった。
• MNISTでは、クラス分離性が高く、2次元t-SNE可視化で特徴の重なりが少ないことから、感受性のあるクラスの検出精度が55.3%にとどまり、RCE（98.8%）に劣った。
• 禁断距離（$F_D$）は、敵対的摂動に対する有効な上限を提供しており、テストされたすべての摂動レベルで実際の距離$D$が$F_D$未満に保たれていることが確認された。
• 距離測定法を用いて構築された敵対的マップは、特徴の重なりが生じるような複雑なデータセット（例：CIFAR-10）において、モデルの感受性パターンを的確に捉えている。
• 本手法は、特徴空間における幾何的パターンが明確に現れる高複雑度モデル（例：CIFAR-10におけるResNet-32）で最も優れた性能を示した。