[論文レビュー] A Noise-Sensitivity-Analysis-Based Test Prioritization Technique for Deep Neural Networks

Long Zhang, Xuechao Sun+2 more|arXiv (Cornell University)|Jan 1, 2019

Adversarial Robustness in Machine Learning参考文献 34被引用数 23

ひとこと要約

本稿では、確率ラベルの差を用いて、敵対的摂動に対する感受性に基づくテスト入力の優先順位付け手法（NSATP）を提案する。NSATPは、確率距離指標（特に確率差）を用いてノイズ感受性を計算することで、効果的な敵対的例を生成しやすい入力を効果的に優先順位付けする。実験により、感受性が高いほど深層ニューラルネットワーク（DNN）をだませる可能性が高くなることが示された。

ABSTRACT

Deep neural networks (DNNs) have been widely used in the fields such as natural language processing, computer vision and image recognition. But several studies have been shown that deep neural networks can be easily fooled by artificial examples with some perturbations, which are widely known as adversarial examples. Adversarial examples can be used to attack deep neural networks or to improve the robustness of deep neural networks. A common way of generating adversarial examples is to first generate some noises and then add them into original examples. In practice, different examples have different noise-sensitive. To generate an effective adversarial example, it may be necessary to add a lot of noise to low noise-sensitive example, which may make the adversarial example meaningless. In this paper, we propose a noise-sensitivity-analysis-based test prioritization technique to pick out examples by their noise sensitivity. We construct an experiment to validate our approach on four image sets and two DNN models, which shows that examples are sensitive to noise and our method can effectively pick out examples by their noise sensitivity.

研究の動機と目的

• 敵対的例生成の非効率性を是正すること。特に、例のノイズ感受性が低いことが原因で多くの摂動が失敗する現象を対処する。
• 小さな摂動に対してより脆弱な例を特定・優先順位付けすることで、敵対的攻撃の成功率を向上させること。
• DNNの確率ラベルに基づくノイズ感受性分析に立脚したテスト優先順位付け手法を開発すること。
• ノイズ感受性を測るための距離指標（確率差、エントロピー、分散）の有効性を評価すること。
• 一般化性を確認するため、複数のデータセットとDNNアーキテクチャで手法の有効性を検証すること。

提案手法

• NSATPは、各入力例について、学習済みDNNから得た確率ベクトルを収集する。
• オリジナルと摂動を加えた確率ベクトル間の距離を、3つの指標（確率差、確率エントロピー、確率分散）を用いてノイズ感受性を測定する。
• ノイズ感受性スコアに基づいて例を順位付けし、スコアが高いほど脆弱性が大きいことを示す。
• 摂動は、各画像に対して4つのランダムに選択された画素を変更することで行い、小さな敵対的ノイズをシミュレートする。
• 勾配計算や逆伝播を必要とせず、モデルの出力の信頼度（確率ラベル）を活用して、内在的な感受性を推定する。
• 4つの画像データセットと2つのDNNモデルを用いて、多様な設定下での性能を評価する実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 DNNの確率ラベル出力のみを用いて、例の内在的ノイズ感受性を効果的に順位付けできるか？
• RQ2 確率差、エントロピー、分散のうち、どの距離指標が敵対的攻撃成功を最も正確に予測できるか？
• RQ3 高いノイズ感受性は、効果的な敵対的例の生成確率が高くなると相関するか？
• RQ4 ノイズ感受性に基づく優先順位付けの性能は、異なるデータセットやDNNアーキテクチャで一貫性を示すか？
• RQ5 本手法により、成功する敵対的例を生成するために必要な無効な摂動の数を削減できるか？

主な発見

• 例同士でノイズ感受性に顕著な差が見られ、感受性が高い例は小さな摂動で簡単にだませる。
• 確率差指標が、確率エントロピーおよび分散よりも、効果的な敵対的例を生成しやすい例を特定する上で優れた性能を示した。
• NSATPは、ノイズ感受性が高い例が最小限のノイズでより効果的にだませるよう、効果的に優先順位をつけることに成功した。
• 本手法は4つの画像データセットと2つの異なるDNNモデルで一貫した性能を示し、耐性と一般化性の両面で優れていることが確認された。
• 勾配計算やモデルの内部構造の観察を一切行わず、確率ラベルのみを用いることで、効果的なノイズ感受性推定が可能であった。
• 3回の実験を繰り返した結果、一貫性のある結果が得られ、研究結果の信頼性が裏付けられた。