[論文レビュー] Adversarial Attacks Against Medical Deep Learning Systems

Samuel G. Finlayson, Chung, Hyung Won+2 more|arXiv (Cornell University)|Apr 15, 2018

Adversarial Robustness in Machine Learning参考文献 64被引用数 109

ひとこと要約

この論文は、三つの領域における最先端の医療用深層学習分類器がホワイトボックス、ブラックボックス、敵対的パッチ攻撃に対して脆弱であることを示しており、医療AIの実 deploymentsにおける実用的なセキュリティリスクを浮き彫りにしている。

ABSTRACT

The discovery of adversarial examples has raised concerns about the practical deployment of deep learning systems. In this paper, we demonstrate that adversarial examples are capable of manipulating deep learning systems across three clinical domains. For each of our representative medical deep learning classifiers, both white and black box attacks were highly successful. Our models are representative of the current state of the art in medical computer vision and, in some cases, directly reflect architectures already seeing deployment in real world clinical settings. In addition to the technical contribution of our paper, we synthesize a large body of knowledge about the healthcare system to argue that medicine may be uniquely susceptible to adversarial attacks, both in terms of monetary incentives and technical vulnerability. To this end, we outline the healthcare economy and the incentives it creates for fraud and provide concrete examples of how and why such attacks could be realistically carried out. We urge practitioners to be aware of current vulnerabilities when deploying deep learning systems in clinical settings, and encourage the machine learning community to further investigate the domain-specific characteristics of medical learning systems.

研究の動機と目的

• 医療用深層学習分類器に対する敵対的攻撃の実現可能性を評価する。
• ホワイトボックス攻撃とブラックボックス攻撃が臨床タスクにおけるモデル性能に与える影響を特徴づける。
• 敵対的操作を可能にする医療特有のインセンティブとシステム上の脆弱性を検討する。

提案手法

• 公開データセット上で事前学習済みのResNet-50をファインチューニングして、糖尿病性網膜症、気胸、黒色腫の三つの最先端医療分類器を訓練する。
• ℓ∞摂動の下でホワイトボックスおよびブラックボックスの投影勾配降下（PGD）攻撃を実装し、知覚不能な敵対的サンプルを作成する。
• 様々な変換と位置で訓練済みパッチを用いて、普遍的な敵対的パッチ攻撃を開発・評価する。
• 自然パッチを基準として比較し、攻撃効果の相対的な有効性を評価する。
• 再現性のためのコード公開（GitHub）を提供する。

実験結果

リサーチクエスチョン

• RQ1 ホワイトボックスおよびブラックボックスの敵対的攻撃は、医療用DL分類器の性能を著しく低下させるか？
• RQ2 普遍的な敵対的パッチは、医用画像タスクにおいてピクセルレベルの摂動や自然パッチよりも強力か？
• RQ3 医療パイプラインにおける組織的・技術的要因は、敵対的攻撃への感受性にどのように寄与するか？
• RQ4 臨床環境でそのような攻撃の実用的リスクを低減できる防御策やインフラ対策は何か？

主な発見

• ホワイトボックスPGD攻撃は、すべてのタスクでAUROCを0.000、精度を0%にまで低下させる。
• ブラックボックスPGD攻撃は、タスクに応じてAUROC < 0.10、精度は最大37.9%に達する。
• 敵対的パッチ（ホワイトボックス）は、AUROCを0.000、精度を各タスクで<1%に低下させる。
• ブラックボックスの敵対的パッチは、AUROC < 0.005、精度を<10%に低下させる。
• 自然パッチは著しく良好で、AUROC 0.48–0.83、精度 67.5%–92.1% が各タスクで安定する。
• 基準となるクリーン性能は、これらのデータセットの公開結果と一致する（例：AUROCがおおむね0.86–0.94）。