[論文レビュー] A Thorough Comparison Study on Adversarial Attacks and Defenses for Common Thorax Disease Classification in Chest X-rays

C.J.M. Rao, Jiezhang Cao+5 more|arXiv (Cornell University)|Mar 31, 2020

Adversarial Robustness in Machine Learning参考文献 34被引用数 11

ひとこと要約

本稿は、CheXpertデータセットにおけるマルチラベル胸部X線疾患分類に対する敵対的攻撃および防御手法について包括的な評価を実施する。過剰な反復回数および大きな摂動は攻撃および防御の性能を劣化させることを特定し、PDT（ピクセルデフェクティング変換）とPGD敵対的訓練を組み合わせた新規防御を提案する。この防御は、摂動サイズの変動にわたって既存手法を上回る耐性を示す。

ABSTRACT

Recently, deep neural networks (DNNs) have made great progress on automated diagnosis with chest X-rays images. However, DNNs are vulnerable to adversarial examples, which may cause misdiagnoses to patients when applying the DNN based methods in disease detection. Recently, there is few comprehensive studies exploring the influence of attack and defense methods on disease detection, especially for the multi-label classification problem. In this paper, we aim to review various adversarial attack and defense methods on chest X-rays. First, the motivations and the mathematical representations of attack and defense methods are introduced in details. Second, we evaluate the influence of several state-of-the-art attack and defense methods for common thorax disease classification in chest X-rays. We found that the attack and defense methods have poor performance with excessive iterations and large perturbations. To address this, we propose a new defense method that is robust to different degrees of perturbations. This study could provide new insights into methodological development for the community.

研究の動機と目的

• マルチラベル胸部X線分類における攻撃の反復回数および摂動の大きさが敵対的性能に与える影響を調査すること。
• 医療画像分類におけるさまざまな摂動度合いの敵対的例に対して、既存の防御手法の耐性を評価すること。
• 大または変動する摂動に対して現在の防御の耐性に欠けるというギャップを埋めるために、新たな防御機構を提案すること。
• マルチラベル医療画像認識タスクにおける現在の攻撃および防御手法の限界についての洞察を提供すること。

提案手法

• マルチラベル分類を対象とした、最先端の勾配ベース、スコアベース、意思決定ベースの敵対的攻撃手法を、CheXpertデータセット上で評価する。
• 摂動予算（ε）と反復回数を変化させたPGD（Projected Gradient Descent）を主な攻撃手法として採用する。
• ピクセルデフェクティング変換（PDT）とPGD敵対的訓練を組み合わせたハイブリッド防御手法を提案する（PDT & Adv_train）。
• PDTは、モデル推論の前に敵対的摂動を deflect する非学習的で高速なピクセル変換を適用する。
• 敵対的訓練は、クリーン画像とPGDで生成された敵対的例の混合データを用いてモデルを微調整する。
• 組み合わせた手法（PDT & Adv_train）は、データレベルの拡張と入力変換の両方を活用して耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 過剰な反復回数および大きな摂動は、マルチラベル胸部X線分類における敵対的攻撃の成功確率にどのように影響するか？
• RQ2 さまざまな摂動大きさの敵対的例に対して、既存の防御手法はどれほど耐性を示すか？
• RQ3 入力変換と敵対的訓練を組み合わせたハイブリッド防御は、異なる摂動レベルにおいて耐性を向上させることができるか？
• RQ4 医療画像認識における敵対的防御手法において、クリーン画像の精度と耐性のトレードオフは何か？

主な発見

• 過剰な反復回数および大きな摂動は、攻撃および防御の両方の性能を顕著に低下させ、特に攻撃成功確率と防御の耐性が低下する。
• PGD敵対的訓練のみでは、ε < 0.03 の小規模な場合にAUC（0.68以上）を示すが、εが0.03を超えるとAUCが急激に低下する。
• 提案された PDT & Adv_train 防御は、すべてのε値において安定したAUCを維持し、ε > 0.03 の場合にPGD敵対的訓練を上回る性能を示す。
• PDT単体は効果的で高速であるが、PGD敵対的訓練ほどクリーン画像での精度は高くない。両者の組み合わせにより、クリーン画像精度を保持しながら耐性を強化できる。
• ハイブリッド防御（PDT & Adv_train）は、単体のPDTや敵対的訓練よりも、大きな摂動に対して優れた耐性を示す。
• 本研究では、特定の摂動サイズで訓練されたモデルが他の摂動サイズに対しては耐性を示さないことが明らかになった。これにより、摂動レベルに一般化可能な防御の必要性が浮き彫りになった。