[論文レビュー] Explainability Matters: Backdoor Attacks on Medical Imaging

Munachiso Nwadike, Takumi Miyawaki+3 more|arXiv (Cornell University)|Dec 30, 2020

COVID-19 diagnosis using AI参考文献 39被引用数 5

ひとこと要約

本稿は、胸部レントゲン画像データセットに3×3ピクセルのトリガーを埋め込み、多ラベル疾患分類を操作するバックドア攻撃を調査する。Grad-CAMの説明可能性技術を用いて、バックドアが静かに埋め込まれることを示し、感染画像では1.00 AUROC、正常画像では0.85 AUROCを達成した。また、説明可能性技術は特徴マップ上でトリガーを局所化でき、モデル汚染の検出におけるその役割を浮き彫りにした。

ABSTRACT

Deep neural networks have been shown to be vulnerable to backdoor attacks, which could be easily introduced to the training set prior to model training. Recent work has focused on investigating backdoor attacks on natural images or toy datasets. Consequently, the exact impact of backdoors is not yet fully understood in complex real-world applications, such as in medical imaging where misdiagnosis can be very costly. In this paper, we explore the impact of backdoor attacks on a multi-label disease classification task using chest radiography, with the assumption that the attacker can manipulate the training dataset to execute the attack. Extensive evaluation of a state-of-the-art architecture demonstrates that by introducing images with few-pixel perturbations into the training set, an attacker can execute the backdoor successfully without having to be involved with the training procedure. A simple 3$ imes$3 pixel trigger can achieve up to 1.00 Area Under the Receiver Operating Characteristic (AUROC) curve on the set of infected images. In the set of clean images, the backdoored neural network could still achieve up to 0.85 AUROC, highlighting the stealthiness of the attack. As the use of deep learning based diagnostic systems proliferates in clinical practice, we also show how explainability is indispensable in this context, as it can identify spatially localized backdoors in inference time.

研究の動機と目的

• 多ラベル医療画像分類、特に胸部レントゲン撮影におけるバックドア攻撃の実現可能性と影響を調査すること。
• 感染率が変化する状況下で、バックドアトリガーが汚染済み画像および正常画像のモデル性能に与える影響を評価すること。
• 推論時に空間的に局所化されたバックドアを検出するための説明可能性技術（例：Grad-CAM）の役割を調査すること。
• トリガーの空間的位置が変化する場合にも、最先端モデルのバックドア攻撃に対する耐性を評価すること。
• 説明可能性が臨床用AIシステムにおけるモデル汚染の同定に補助的ツールとして機能できることを実証すること。

提案手法

• 攻撃者は訓練データに3×3ピクセルのトリガーを埋め込んだ画像を注入し、それらにターゲット疾患ラベルを関連づける一方で、他の疾患のラベルは元のまま維持する。
• 汚染済みサンプルを含む多ラベル胸部レントゲン画像データセット上で、最先端のDenseNet-121モデルを訓練し、バックドアの有効性を評価する。
• 最終層および中間の畳み込み層に対して、勾配加重クラス活性化マッピング（Grad-CAM）を用いて説明可能性を適用し、トリガーによって引き起こされる注目度のシフトを可視化する。
• 異なるトリガー位置および感染率を想定し、感染済み画像および正常画像におけるAUROCと攻撃成功確率（ASR）を用いて、モデルの性能を評価する。
• 訓練の各エポックにおける正常画像と感染済み画像のサリエンシーマップを比較し、トリガーが特徴注目度に与える影響を追跡する。
• モデルのスティールネスを評価するため、異なる感染率（ε = 0.001 から 0.5）の下で評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 3×3ピクセルのバックドアトリガーは、検出されないまま多ラベル胸部レントゲン画像分類モデルを操作可能か？
• RQ2 トリガーの空間的位置が、モデルがバックドアを学習および適用する能力に与える影響はいかほどか？
• RQ3 バックドアが正常画像の性能に与える劣化度合いは、スティールネスの指標としてどの程度有効か？
• RQ4 Grad-CAMのような説明可能性技術は、注目度がトリガー位置にシフトすることによって、バックドアの存在を可視化することで検出可能か？
• RQ5 テストセットにおける感染画像の割合が、モデル全体の性能および検出可能性に与える影響はいかほどか？

主な発見

• 3×3ピクセルのトリガーは、感染画像で1.000 AUROCを達成し、背後攻撃されたクラスのほぼ完全な検出を示した。
• 正常画像ではAUROCが0.852を維持しており、攻撃のスティールネスおよび低検出性を示した。
• トリガーが中央に固定されている場合、攻撃成功確率（ASR）は0.994を維持し、ランダム配置の場合でも0.963を示しており、空間的変動に対しても高い耐性を示した。
• Grad-CAMの可視化により、最終層および中間畳み込み層の両方で、モデルの注目度がトリガー位置にシフトしていることが確認された。特に初期訓練エポックで顕著であった。
• 中間層のGrad-CAMマップは、トリガーのより細かい局所化を示しており、低レベル特徴がバックドア検出に有効であることを裏付けた。
• 感染率が低く（ε = 0.001）ても、AUROCは0.809～0.852を維持しており、攻撃がスケールにわたって効果的かつ検出不能であることを示した。