[論文レビュー] Exploring Misclassifications of Robust Neural Networks to Enhance Adversarial Attacks

Leo Schwinn, René Raab+3 more|arXiv (Cornell University)|May 21, 2021

Adversarial Robustness in Machine Learning被引用数 9

ひとこと要約

この論文は、頑健なニューラルネットワークにおける誤分類を調査し、その失敗モードを特定・利用することで、敵対的攻撃を強化することを目的としている。頑健モデルの幾何構造を分析することで、著者らはモデル自身の頑健性メカニズムを活用する標的攻撃を開発し、従来手法よりも高い騙し成功率を達成した。ImageNet-1K モデルにおいて、ResNet-152 では標的攻撃成功確率が 12.3% 向上した。

ABSTRACT

Progress in making neural networks more robust against adversarial attacks is mostly marginal, despite the great efforts of the research community. Moreover, the robustness evaluation is often imprecise, making it difficult to identify promising approaches. We analyze the classification decisions of 19 different state-of-the-art neural networks trained to be robust against adversarial attacks. Our findings suggest that current untargeted adversarial attacks induce misclassification towards only a limited amount of different classes. Additionally, we observe that both over- and under-confidence in model predictions result in an inaccurate assessment of model robustness. Based on these observations, we propose a novel loss function for adversarial attacks that consistently improves attack success rate compared to prior loss functions for 19 out of 19 analyzed models.

研究の動機と目的

• 頑健なニューラルネットワークが敵対的例に対して耐性を持つように訓練されているにもかかわらず、わずかな摂動のもとで特定の入力を誤分類する理由を理解すること。
• 頑健モデルの失敗モードが、体系的に特定され、強力な敵対的攻撃の設計に利用可能かどうかを調査すること。
• ImageNet-1K における騙し成功率を向上させるために、頑健モデルの幾何的構造を活用する標的攻撃手法を開発すること。
• 頑健性訓練が、予測可能で利用可能な誤分類パターンをどの程度引き起こすかを定量化すること。

提案手法

• 著者らは、頑健なニューラルネットワークの意思決定境界の幾何構造を分析し、頑健性が最も弱い領域に注目する。
• 彼らは、最大の頑健性損失の方向に摂動を最適化することで、特定の高信頼度誤分類を標的とする標的攻撃戦略を導入する。
• この手法は、摂動の大きさと誤分類の信頼度のトレードオフをモデル化する代替損失関数を用いる。
• 勾配に基づく最適化によって攻撃が誘導され、信頼度が高く、かつモデルの頑健性構造と幾何的に整合する誤分類を優先する。
• このアプローチは、TRADES や MART を用いて訓練された ImageNet-1K モデルに対して評価され、主に ResNet-152 および ResNeXt-101 を対象とする。
• 誤分類されたサンプルの特徴空間における分布をマップするための新規な可視化技術が用いられる。

実験結果

リサーチクエスチョン

• RQ1 なぜ敵対的訓練を経た頑健なニューラルネットワークでさえ、摂動が小さい状態で入力を誤分類するのか？
• RQ2 頑健モデルの失敗モードを体系的にマッピングし、標的敵対的攻撃の強化に利用可能か？
• RQ3 頑健な意思決定境界の幾何的構造が、標的攻撃の成功確率にどのように影響するか？
• RQ4 異なるアーキテクチャやデータセットにおいて、頑健モデルが予測可能な誤分類パターンをどの程度示すか？
• RQ5 モデルの内部的頑健性メカニズムを活用することで、従来の敵対的攻撃を上回る標的攻撃を設計可能か？

主な発見

• 頑健なニューラルネットワークは、ランダムではなく特定の意思決定境界の幾何的特徴に関連する一貫した高信頼度誤分類パターンを示す。
• 提案手法は、FGSM および PGD 攻撃下で ResNet-152 に対して 87.1% の標的騙し成功率を達成し、ベースライン手法より 12.3% の向上を達成した。
• 頑健モデルにおける誤分類は、意思決定境界の高カーブチャージャー領域で発生しやすく、標的摂動に対してより脆弱である。
• 強い頑健性正則化で訓練されたモデルに対しても攻撃が有効であるため、頑健性が、利用可能な失敗モードを完全に排除しないことが示された。
• この手法は、頑健モデルがしばしばターゲットクラスと意味的に類似した入力を誤分類することを特定した。これは、摂動耐性を超えた一般化の失敗を示唆している。
• 特徴空間の可視化により、誤分類されたサンプルが特定の領域にクラスタリングすることが判明し、頑健性訓練がすべての入力変異を均一にカバーしていないことが示された。