[論文レビュー] Generalizability vs. Robustness: Adversarial Examples for Medical Imaging

Magdalini Paschali, Sailesh Conjeti+2 more|arXiv (Cornell University)|Mar 23, 2018

Adversarial Robustness in Machine Learning参考文献 8被引用数 37

ひとこと要約

本論文は、一般化性を超えて深層学習モデルの堅牢性を評価するための新規評価フレームワークを提示する。このフレームワークでは、タスク固有の adversarial examples を用い、類似した精度を示すモデル間での顕著な堅牢性の差を明らかにした。InceptionV3 や DenseNet といったモデルは、一般化性能が同等であっても、他のモデルと比較して adversarial 攻撃に対して優れた堅牢性を示していることが判明した。

ABSTRACT

In this paper, for the first time, we propose an evaluation method for deep learning models that assesses the performance of a model not only in an unseen test scenario, but also in extreme cases of noise, outliers and ambiguous input data. To this end, we utilize adversarial examples, images that fool machine learning models, while looking imperceptibly different from original data, as a measure to evaluate the robustness of a variety of medical imaging models. Through extensive experiments on skin lesion classification and whole brain segmentation with state-of-the-art networks such as Inception and UNet, we show that models that achieve comparable performance regarding generalizability may have significant variations in their perception of the underlying data manifold, leading to an extensive performance gap in their robustness.

研究の動機と目的

• 標準的な評価手法が一般化性にのみ焦点を当て、ノイズや adversarial 入力に対するモデルの堅牢性を無視するという限界を是正すること。
• 類似した一般化性能を示すモデルが、医療画像における adversarial examples に対して顕著に異なる耐性を示すかどうかを調査すること。
• adversarial 攻撃を用いたベンチマーク手法を提案・検証し、モデルの脆弱性を特定し、臨床的信頼性を向上させること。
• 分類とセグメンテーションの両タスクにおいて、制御された adversarial 変更下での最先端アーキテクチャ（例：Inception、UNet、DenseNet）の堅牢性を比較すること。

提案手法

• FGSM、DeepFool、Saliency Map Attacks などの勾配ベース手法を用いて、モデルを誤分類させる微小な摂動を生成する。これらの摂動は人間の視認ではほとんど認識できない。
• セグメンテーションタスクでは、画素単位のターゲット付き adversarial examples を生成するため、Dense Adversarial Generation (DAG) が用いられ、元の入力と視覚的に類似した予測マップを歪ませる。
• モデルの堅牢性は、モデルの内部パラメータにアクセスできないブラックボックス攻撃設定で評価される。
• 分類タスクでは分類精度、セグメンテーションタスクでは Dice スコアを用い、クリーンな入力、Rician ノイズ付き入力、adversarial 入力の各状況で複数のアーキテクチャを比較評価する。
• 誤分類または誤ったセグメンテーションを引き起こすように、摂動の大きさを最小化するボックス制約付き最適化問題を解く。摂動は ε で制限され、人間が認識できないように保証される。
• 評価フレームワークは、標準的なテストセットだけでなく、adversarial およびノイズ付きデータを含む極端な入力変化に対してもモデルの耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 類似した一般化性能を示す深層学習モデルは、医療画像における adversarial examples に対して同程度の堅牢性を示すのか？
• RQ2 分類とセグメンテーションの両タスクにおいて、異なるネットワークアーキテクチャ（例：Inception、UNet、DenseNet）は adversarial 摂動に対してどのように感受性を示すか？
• RQ3 adversarial examples は、大規模な手動アノテーション付きテストセットを必要とせずに、モデルの堅牢性を効果的かつ効率的に評価するためのベンチマークとして有効であるか？
• RQ4 スキップ接続やデュアルブロックといったアーキテクチャ的要素は、医療画像解析モデルの一般化性と堅牢性の両方を向上させるか？

主な発見

• 類似した一般化性能を示すにもかかわらず、InceptionV3 (IV3) は adversarial 攻撃下で7%の性能低下にとどまった一方、InceptionV4 (IV4) は17%、MobileNet (MN) は25%の低下を示し、IV3 が顕著に堅牢性に優れたことが判明した。
• FGSM 攻撃に対しては InceptionV3 が最も堅牢であったが、DeepFool や Saliency Map 攻撃では InceptionV4 が優れていた。これはアーキテクチャ依存の脆弱性パターンを示している。
• セグメンテーションタスクでは、DenseNet (DN) が最も高い堅牢性を示し、Rician ノイズ下では Dice スコアが1%低下にとどまり、UNet より21%、SegNet より18%の改善を示した。
• SegNet や UNet は、クリーンなデータでは中程度の性能を示したが、adversarial 攻撃下では深刻な性能低下（Dice スコアが37–40%低下）を示した。
• adversarial examples はセグメンテーションマップに顕著な誤分類を引き起こしたが、Rician ノイズは予測品質にほとんど影響を与えなかった。これにより、adversarial 摂動とランダムノイズは同等ではないことが証明された。
• 本研究では、堅牢性と精度が本質的に相関しないことが確認された。同程度のテスト精度を示すモデルでも、adversarial 入力に対する耐性は大きく異なるため、堅牢性の別個評価が不可欠であることが示された。