[論文レビュー] Practical Fast Gradient Sign Attack against Mammographic Image Classifier

Ibrahim Yilmaz|arXiv (Cornell University)|Jan 27, 2020

Adversarial Robustness in Machine Learning参考文献 27被引用数 8

ひとこと要約

本論文は、深層畳み込みニューラルネットワーク（CNN）を用いたマンモグラム画像分類器に対して、Fast Gradient Sign Method（FGSM）の悪意ある攻撃を初めて実用的応用した。良性マンモグラムに微小で人間が認識できないほどの摂動を加えることで、分類器ががん症例を良性と誤分類する攻撃が成功した。構造的類似度指標（SSIM）の分析により、高い摂動レベルでも視覚的歪みは最小限であることが確認された。

ABSTRACT

Artificial intelligence (AI) has been a topic of major research for many years. Especially, with the emergence of deep neural network (DNN), these studies have been tremendously successful. Today machines are capable of making faster, more accurate decision than human. Thanks to the great development of machine learning (ML) techniques, ML have been used many different fields such as education, medicine, malware detection, autonomous car etc. In spite of having this degree of interest and much successful research, ML models are still vulnerable to adversarial attacks. Attackers can manipulate clean data in order to fool the ML classifiers to achieve their desire target. For instance; a benign sample can be modified as a malicious sample or a malicious one can be altered as benign while this modification can not be recognized by human observer. This can lead to many financial losses, or serious injuries, even deaths. The motivation behind this paper is that we emphasize this issue and want to raise awareness. Therefore, the security gap of mammographic image classifier against adversarial attack is demonstrated. We use mamographic images to train our model then evaluate our model performance in terms of accuracy. Later on, we poison original dataset and generate adversarial samples that missclassified by the model. We then using structural similarity index (SSIM) analyze similarity between clean images and adversarial images. Finally, we show how successful we are to misuse by using different poisoning factors.

研究の動機と目的

• 深層学習ベースのマンモグラム画像分類器が悪意ある攻撃に対して脆弱であることを示すこと。
• 実際のマンモグラム画像に対して、Fast Gradient Sign Method（FGSM）による悪意ある例の生成の実現可能性と有効性を評価すること。
• 構造的類似度指標（SSIM）を用いて、元の画像と悪意ある画像の間の知覚的類似度を分析すること。
• 摂動係数（epsilon値）の変化がモデルの頑健性および画像の忠実度に与える影響を調査すること。
• 放射線科医や臨床医に対して、頑健性の検証を行わずにAIモデルを導入するリスクに気づきを促すこと。

提案手法

• 良性および悪性のマンモグラムから成るデータセットを用いて、CNNベースのマンモグラム画像分類器を学習した。
• 入力画像に微小で標的となる摂動を加えることで、Fast Gradient Sign Method（FGSM）を用いて悪意ある例を生成した。
• 摂動を制限するためにL-infinityノルムを用い、モデルの頑健性を評価するために高・低の範囲でepsilon値を変化させた。
• 元の画像と悪意ある画像の間の知覚的類似度を定量化するために、構造的類似度指標（SSIM）を用いた。
• 攻撃の成功率を評価するために、さまざまなepsilon値におけるモデルの精度を、悪意ある状況下で評価した。
• 摂動係数を変化させたアブレーションスタディを実施し、画像品質の劣化とモデルの誤分類の程度を分析した。

実験結果

リサーチクエスチョン

• RQ1 FGSM攻撃は、良性マンモグラムを悪性と誤分類するような悪意ある例を効果的に生成できるか？
• RQ2 摂動の大きさ（epsilon）がマンモグラム画像分類器に対する悪意ある攻撃の成功率にどのように影響するか？
• RQ3 SSIMで測定した場合、悪意ある画像は元の画像とどの程度視覚的に類似しているか？
• RQ4 攻撃の成功率が高く、かつ知覚的忠実度が保たれるような特定のepsilon値は存在するか？
• RQ5 異なる摂動レベルにおいて、モデルの性能が一貫して低下するか？これは、システム的な脆弱性を示唆するか？

主な発見

• FGSM攻撃は、マンモグラム画像の誤分類において高い成功率を示し、低epsilon値でもモデルの精度が著しく低下した。
• 高epsilon値で生成された悪意ある例は、高いSSIMスコアを維持しており、顕著な摂動があるにもかかわらず視覚的歪みは最小限であった。
• 小さなepsilon値でも攻撃は顕著な誤分類を引き起こし、微小な摂動が分類器をだます可能性があることを示した。
• SSIM分析により、悪意ある画像が元の画像と視覚的に区別がつかないことが確認された。特に低epsilon値では顕著であった。
• 攻撃は広い範囲のepsilon値で有効であったため、モデルの意思決定境界に持続的な脆弱性があることが示された。
• 本研究は、現在の乳がん分類のための深層学習モデルが、目に見えない視覚的兆候なしに悪意ある操作に対して極めて感受性を示していることを示している。