[論文レビュー] Adversarial Attacks on Convolutional Neural Networks in Facial Recognition Domain

Yigit Alparslan, Alparslan, Ken+3 more|arXiv (Cornell University)|Jan 30, 2020

Adversarial Robustness in Machine Learning参考文献 14被引用数 12

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）を用いた顔認識システムに対する adversarial 攻撃を調査し、Fast Gradient Sign Method およびブラックボックス攻撃戦略を用いて摂動を生成する。高レベルの摂動であっても顔は人間が識別可能であるが、分類器の信頼度は最大84％低下し、誤分類率は81.6％に達することを示し、DNNのロバストネスにおける深刻な脆弱性を浮き彫りにしている。

ABSTRACT

Numerous recent studies have demonstrated how Deep Neural Network (DNN) classifiers can be fooled by adversarial examples, in which an attacker adds perturbations to an original sample, causing the classifier to misclassify the sample. Adversarial attacks that render DNNs vulnerable in real life represent a serious threat in autonomous vehicles, malware filters, or biometric authentication systems. In this paper, we apply Fast Gradient Sign Method to introduce perturbations to a facial image dataset and then test the output on a different classifier that we trained ourselves, to analyze transferability of this method. Next, we craft a variety of different black-box attack algorithms on a facial image dataset assuming minimal adversarial knowledge, to further assess the robustness of DNNs in facial recognition. While experimenting with different image distortion techniques, we focus on modifying single optimal pixels by a large amount, or modifying all pixels by a smaller amount, or combining these two attack approaches. While our single-pixel attacks achieved about a 15% average decrease in classifier confidence level for the actual class, the all-pixel attacks were more successful and achieved up to an 84% average decrease in confidence, along with an 81.6% misclassification rate, in the case of the attack that we tested with the highest levels of perturbation. Even with these high levels of perturbation, the face images remained identifiable to a human. Understanding how these noised and perturbed images baffle the classification algorithms can yield valuable advances in the training of DNNs against defense-aware adversarial attacks, as well as adaptive noise reduction techniques. We hope our research may help to advance the study of adversarial attacks on DNNs and defensive mechanisms to counteract them, particularly in the facial recognition domain.

研究の動機と目的

• Fast Gradient Sign Method を用いて生成された adversarial 例の、顔認識モデル間での転送性を評価すること。
• 最小限の事前知識（ブラックボックス攻撃）のもとでの深層ニューラルネットワークの顔認識におけるロバストネスを評価すること。
• 単一画素対比で全画素を摂動させる戦略の、分類器性能への効果を調査すること。
• 人間の認識可能性を保ちながら、モデルの信頼度を著しく低下させる、知覚的に最小限の摂動がどのように効果を発揮するかを分析すること。

提案手法

• 顔画像データセットに対して Fast Gradient Sign Method (FGSM) を適用し、adversarial 例を生成した。
• FGSM で生成された摂動の転送性をテストするため、別途分類器を訓練した。
• ターゲットモデルのアーキテクチャやパラメータを最小限にしか知らないと仮定したブラックボックス攻撃アルゴリズムを設計した。
• 2つの攻撃戦略を検討した：最大摂動量で1つの最適な画素を変更する、または全画素を小さな量で摂動させる。
• 両方の戦略を組み合わせ、分類器の信頼度および誤分類率に与える累積的影響を評価した。
• 人間による評価を用いて、モデルの失敗にもかかわらず摂動を加えた画像が視覚的に顔として識別可能であることを確認した。

実験結果

リサーチクエスチョン

• RQ1 FGSM で生成された adversarial 例は、異なる顔認識モデル間でどの程度転送可能か？
• RQ2 攻撃者がターゲットモデルのアーキテクチャやパラメータを最小限しか知らない場合、ブラックボックス攻撃はどの程度効果的か？
• RQ3 単一画素対比で全画素を摂動させる戦略は、分類器の信頼度および正答率にそれぞれどの程度の影響を及ぼすか？
• RQ4 adversarial 摂動は、人間にはほとんど見えないままに、モデルの性能を著しく低下させることができるか？
• RQ5 単一画素および全画素の攻撃戦略を組み合わせた場合、顔認識におけるモデルのロバストネスにどのような影響を与えるか？

主な発見

• 単一画素攻撃は、正しく分類されたクラスの信頼度を平均で約15％低下させた。
• 全画素攻撃は、高レベルの摂動条件下で、真のクラスの信頼度を最大84％平均で低下させた。
• 最も効果的な全画素攻撃では、誤分類率が81.6％に達し、攻撃の成功度が強く示された。
• 高レベルの摂動であっても、すべての adversarially 摂動を加えた顔は人間の観察者にとって識別可能であった。
• FGSM で生成された adversarial 例の転送性が、同じデータセットで訓練された異なる分類器間で確認された。
• 単一画素および全画素の戦略を組み合わせることで攻撃効果が向上し、モデル性能の相乗的低下が示された。