[論文レビュー] Vulnerability Analysis of Chest X-Ray Image Classification Against Adversarial Attacks

Saeid Asgari Taghanaki, Arkadeep Das+1 more|arXiv (Cornell University)|Jul 9, 2018

Adversarial Robustness in Machine Learning参考文献 23被引用数 4

ひとこと要約

本稿は、胸部X線画像分類における最先端のディーブラーニングモデル2つ（Inception-ResNet-v2 および Nasnet-Large）の、白ボックスおよびブラックボックス設定下での10種類の adversarial 攻撃に対する脆弱性を評価している。勾配ベースの攻撃が最も効果的であることが判明した。一方、max-pooling を average-pooling に置き換えることで、特に decision-および score-ベースの攻撃に対して耐性が著しく向上し、Nasnet-Large で average-pooling を使用したモデルは、18%高い耐性を示した。

ABSTRACT

Recently, there have been several successful deep learning approaches for automatically classifying chest X-ray images into different disease categories. However, there is not yet a comprehensive vulnerability analysis of these models against the so-called adversarial perturbations/attacks, which makes deep models more trustful in clinical practices. In this paper, we extensively analyzed the performance of two state-of-the-art classification deep networks on chest X-ray images. These two networks were attacked by three different categories (ten methods in total) of adversarial methods (both white- and black-box), namely gradient-based, score-based, and decision-based attacks. Furthermore, we modified the pooling operations in the two classification networks to measure their sensitivities against different attacks, on the specific task of chest X-ray classification.

研究の動機と目的

• ディープラーニングモデルが胸部X線画像分類において adversarial な摂動に対してどれほど脆弱であるかを評価すること。
• 勾配ベース、スコアベース、および意思決定ベースの多様な adversarial 攻撃タイプが、医療画像分類モデルに与える影響を評価すること。
• プーリング操作（max と average）を変更することで、モデルの adversarial 攻撃に対する耐性が向上するかどうかを調査すること。
• ChestX-ray14 データセット上で、白ボックスとブラックボックスの攻撃シナリオにおけるモデル性能を比較すること。
• adversarial 例の知覚可能性を人間の観察者に評価し、臨床的信頼に与える影響を検討すること。

提案手法

• ChestX-ray14 データセット上で、最先端の2つのモデル（Inception-ResNet-v2 および Nasnet-Large）を訓練・評価した。
• 勾配ベース（FGSM, PGD, DeepFool, Linf-BIM, L-BFGS）、スコアベース（Local Search, Single Pixel）、意思決定ベース（Gaussian Blur, Contrast Reduction, Additive Gaussian Noise）の3つのカテゴリに分けた合計10種類の adversarial 攻撃手法を適用した。
• 攻撃の実行に使用するモデルと分類に使用するモデルが同一である白ボックス攻撃と、異なるモデルを用いるブラックボックス攻撃の両方を実施した。
• プーリング操作を max-pooling から average-pooling に置き換えることで、adversarial 摂動に対する感受性を評価した。
• 綺麗な画像および摂動を加えた画像の両方に対して、正解率（Acc.）と受信者操作特性曲線下の面積（AUROC）を用いてモデル性能を測定した。
• 人間の評価カテゴリ（明確、混合、困難）を用いて、adversarial 例の知覚可能性を可視化した。

実験結果

リサーチクエスチョン

• RQ1 勾配ベース、スコアベース、意思決定ベースの adversarial 攻撃は、胸部X線画像分類モデルに対してどれほど効果的か？
• RQ2 max-pooling を average-pooling に置き換えることで、adversarial 攻撃に対するモデルの耐性が向上するか？
• RQ3 白ボックスとブラックボックスの攻撃シナリオにおいて、モデル性能はどのように低下するか？
• RQ4 adversarial 例は人間の観察者にどれほど知覚可能か。また、その知覚可能性と攻撃の成功度にはどのような相関があるか？
• RQ5 どの攻撃タイプが、同時にモデルと人間の知覚をだますのに最も効果的か？

主な発見

• 勾配ベースの攻撃（例：PGD, L-BFGS）は白ボックス設定でほぼ完全な成功を収め、両モデルとも正解率が43–46%に低下した。
• average-pooling により耐性が向上：average-pooling を使用した Nasnet-Large は、max-pooling を使用した同型モデルと比較して18%高い耐性を示した。
• スコアベースの攻撃（例：Local Search (S1)）は、average-pooling を使用した Nasnet-Large に対して完全に失敗した。これは、プーリングタイプに極めて感受性であることを示している。
• 意思決定ベースの攻撃（例：Additive Gaussian Noise, Contrast Reduction）は、23–30%のケースで人間によって検出可能であり、知覚可能性は「混合」から「明確」の範囲にわたり、観察者に著しい影響を与えた。
• 勾配ベースの攻撃は、モデルと人間の観察者を同時にだますのに最も効果的であり、max-pooling を使用した場合27%、average-pooling を使用した場合23%のテストサンプルが失敗した。
• ブラックボックス設定でも、勾配ベースの攻撃が最も効果的であり、average-pooling を使用したモデルは特にスコアおよび意思決定ベースの攻撃に対して高い耐性を示した。