[論文レビュー] Out of Distribution Detection and Adversarial Attacks on Deep Neural Networks for Robust Medical Image Analysis

Anisie Uwimana, Ransalu Senanayake|arXiv (Cornell University)|Jul 10, 2021

COVID-19 diagnosis using AI被引用数 9

ひとこと要約

この論文は、マラリア赤血球分類を含む医療画像解析における深層学習モデルの耐性を高めるために、マハラノビス距離に基づく信頼スコアを提案する。中間層の特徴活性化を利用し、クラス平均とのマハラノビス距離を計算することで、ResNet-18およびVGG-19モデルにおいて、分布外（OOD）および対策攻撃サンプルの検出において、ODIN や LID のベースラインを上回る複数の指標で最先端の性能を達成した。

ABSTRACT

Deep learning models have become a popular choice for medical image analysis. However, the poor generalization performance of deep learning models limits them from being deployed in the real world as robustness is critical for medical applications. For instance, the state-of-the-art Convolutional Neural Networks (CNNs) fail to detect adversarial samples or samples drawn statistically far away from the training distribution. In this work, we experimentally evaluate the robustness of a Mahalanobis distance-based confidence score, a simple yet effective method for detecting abnormal input samples, in classifying malaria parasitized cells and uninfected cells. Results indicated that the Mahalanobis confidence score detector exhibits improved performance and robustness of deep learning models, and achieves stateof-the-art performance on both out-of-distribution (OOD) and adversarial samples.

研究の動機と目的

• 分布外（OOD）および対策攻撃のような異常入力を検出することで、医療画像解析における深層ニューラルネットワークの耐性を向上させること。
• 現実世界の医療応用において、分布シフトや対策攻撃が予測の信頼性を損なうという、深層学習モデルの顕著な限界に対処すること。
• 提案されたマハラノビス信頼スコアが、マラリア赤血球データセット上で分布外および対策攻撃サンプルを検出する際、最先端の手法（ODIN および LID）と比較して性能を評価すること。
• 臨床現場での導入の安全性を高めるために、モデルの脆弱性を特定する信頼性のある診断フレームワークを提供すること。

提案手法

• この手法は、事前に学習された畳み込みニューラルネットワーク（CNN）の特定の中間層において、テストサンプルの特徴活性化と各クラスの平均活性化との間のマハラノビス距離を計算する。
• 各層について、マハラノビススコアは $ M_l( ilde{ extbf{x}}_*) = - (f( ilde{ extbf{x}}_*) - m{ ilde{oldsymbol{ u}}}_c)^T m{ ilde{oldsymbol{ u}}}_c^{-1} (f( ilde{ extbf{x}}_*) - m{ ilde{oldsymbol{ u}}}_c) $ で計算され、ここで $ f( ilde{ extbf{x}}_*) $ は特徴ベクトル、$ m{ ilde{oldsymbol{ u}}}_c $ はクラス平均を表す。
• 最終的な信頼スコアは、層ごとのスコアの重み付き和で表される：$ M^*( extbf{x}_*) = igsum_{l=1}^{L} m{ ilde{oldsymbol{ u}}}_l M_l( extbf{x}_*) $、ここで層の重み $ m{ ilde{oldsymbol{ u}}}_l $ は検証セット上で学習される。
• 閾値 $ ho $ を用いて、$ M^*( extbf{x}_*) \geq \rho $ であれば入力を分布内と分類し、分布外および対策攻撃サンプルの検出が可能になる。
• 対策攻撃サンプルは、ノイズレベル $ m{ ilde{oldsymbol{ u}}}_* $ を変化させた FGSM、BIM、DeepFool、CW 攻撃を用いて生成された。
• この手法は、13,779 個の感染赤血球および 13,779 個の非感染赤血球を含むマラリア赤血球データセットで微調整された ResNet-18 および VGG-19 モデルで評価された。

実験結果

リサーチクエスチョン

• RQ1 マハラノビス距離に基づく信頼スコアは、医療画像分類における分布外（OOD）サンプルを効果的に検出できるか？
• RQ2 複数の攻撃タイプで生成された対策攻撃サンプルに対して、ODIN や LID といった最先端の手法と比較して、本手法はどのように性能を発揮するか？
• RQ3 マハラノビスベースの検出フレームワークは、現実世界の医療画像認識シナリオにおいて、事前学習済みの CNN（ResNet-18 および VGG-19）の耐性を向上させるか？
• RQ4 本手法は、FGSM、BIM、DeepFool、CW といった多様な対策攻撃戦略に対して、どの程度高い検出性能を維持できるか？

主な発見

• VGG-19 における FGSM 攻撃では、マハラノビススコアが 95% の真正陽性率（TPR）で 100.00% の偽陰性率（TNR）を達成し、LID の 99.96% を上回った。
• VGG-19 における CW 攻撃では、マハラノビス手法が 95% TPR で 98.11% の TNR を達成したのに対し、LID は 75.93% にとどまった。
• VGG-19 における FGSM 攻撃では、マハラノビス手法の AUROC が 99.98 に達し、LID の 97.30 や ODIN の 97.30 よりも顕著に高い値を示した。
• DeepFool で生成された対策攻撃サンプルでは、VGG-19 でマハラノビス手法が 95% TPR で 75.96% の TNR を達成したが、LID は 74.48% にとどまった。
• VGG-19 における FGSM 攻撃では、マハラノビス手法の検出精度が 99.98% に達し、LID の 99.41% や ODIN の 99.41% を上回った。
• 本手法は、FGSM、BIM、DeepFool、CW の4つの対策攻撃タイプすべてにおいて、AUROC、TNR、検出精度の観点で、LID や ODIN を一貫して上回る優れた耐性を示した。