[논문 리뷰] A Thorough Comparison Study on Adversarial Attacks and Defenses for Common Thorax Disease Classification in Chest X-rays

C.J.M. Rao, Jiezhang Cao외 5명|arXiv (Cornell University)|2020. 03. 31.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 11

한 줄 요약

이 논문은 CheXpert 데이터셋에서 다중 레이블 흉부 X선 질병 분류에 대한 적대적 공격 및 방어 방법을 종합적으로 평가한다. 과도한 반복 횟수와 큰 변형량이 공격 및 방어 성능을 떨어뜨린다는 점을 규명하고, PGD 적대적 훈련과 결합된 픽셀 방향 전환 변환(PDT)을 활용한 새로운 방어 방법을 제안한다. 이는 다양한 변형 크기에서 기존 방법보다 뛰어난 내성 성능을 보인다.

ABSTRACT

Recently, deep neural networks (DNNs) have made great progress on automated diagnosis with chest X-rays images. However, DNNs are vulnerable to adversarial examples, which may cause misdiagnoses to patients when applying the DNN based methods in disease detection. Recently, there is few comprehensive studies exploring the influence of attack and defense methods on disease detection, especially for the multi-label classification problem. In this paper, we aim to review various adversarial attack and defense methods on chest X-rays. First, the motivations and the mathematical representations of attack and defense methods are introduced in details. Second, we evaluate the influence of several state-of-the-art attack and defense methods for common thorax disease classification in chest X-rays. We found that the attack and defense methods have poor performance with excessive iterations and large perturbations. To address this, we propose a new defense method that is robust to different degrees of perturbations. This study could provide new insights into methodological development for the community.

연구 동기 및 목표

• 다중 레이블 흉부 X선 분류에서 공격 반복 횟수와 변형 크기의 영향을 조사하기 위해.
• 의료 영상 분류에서 다양한 수준의 변형에 대해 기존 방어 방법의 내성 성능을 평가하기 위해.
• 크거나 변동성이 큰 변형에 대한 현재 방어 방법의 내성 부족을 보완하기 위해 새로운 방어 메커니즘을 제안하기 위해.
• 다중 레이블 의료 영상 작업에서 현재 공격 및 방어 방법의 한계에 대한 통찰을 제공하기 위해.

제안 방법

• 다중 레이블 분류를 위한 CheXpert 데이터셋에서 최신의 기울기 기반, 점수 기반, 결정 기반 적대적 공격 방법을 평가한다.
• 변형 예산(ε)과 반복 횟수를 다양하게 조절한 PGD(투영된 기울기 강하)를 주요 공격 방법으로 사용한다.
• 픽셀 방향 전환 변환(PDT)과 PGD 적대적 훈련을 조합한 하이브리드 방어 방법을 제안한다(PDT & Adv_train).
• PDT는 모델 추론 이전에 적대적 변형을 왜곡하기 위해 학습되지 않은 빠른 픽셀 변환을 적용한다.
• 적대적 훈련은 청소년 이미지와 PGD로 생성된 적대적 예제의 혼합물을 사용해 모델을 미세 조정하는 과정을 포함한다.
• 결합된 방법(PDT & Adv_train)은 데이터 수준 증강과 입력 변환을 동시에 활용해 내성 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 과도한 반복 횟수와 큰 변형량은 다중 레이블 흉부 X선 분류에서 적대적 공격의 성공률에 어떤 영향을 미치는가?
• RQ2 기존의 방어 방법은 다양한 크기의 변형을 가진 적대적 예제에 대해 얼마나 내성적인가?
• RQ3 입력 변환과 적대적 훈련을 조합한 하이브리드 방어 방법이 다양한 변형 수준에서 내성 성능을 향상시킬 수 있는가?
• RQ4 의료 영상에 대한 적대적 방어 방법에서 청소년 이미지 정확도와 내성 간의 상충 관계는 어떠한가?

주요 결과

• 과도한 반복 횟수와 큰 변형량은 공격 및 방어 방법의 성능을 심각하게 떨어뜨리며, 특히 공격 성공률와 방어 내성 성능에 악영향을 미친다.
• PGD 적대적 훈련은 작은 ε(<0.03)에서는 높은 AUC(0.68 이상)를 보이지만, ε가 0.03를 초과하면 AUC가 급격히 감소한다.
• 제안된 PDT & Adv_train 방어 방법은 모든 ε 값에서 안정적인 AUC를 유지하며, ε > 0.03일 경우 PGD 적대적 훈련을 능가한다.
• PDT는 단독으로 효과적이고 빠르지만, PGD 적대적 훈련에 비해 청소년 이미지 정확도가 낮다. 그러나 두 방법을 조합하면 청소년 이미지 정확도를 유지하면서 내성 성능을 향상시킬 수 있다.
• 하이브리드 방어(PDT & Adv_train)는 단독으로 사용된 PDT나 적대적 훈련보다 큰 변형에 대해 훨씬 뛰어난 내성 성능을 보인다.
• 연구 결과, 특정 변형 크기에서 훈련된 모델은 다른 크기의 변형에는 내성이 없음을 확인했으며, 이는 다양한 변형 수준에서 일반화 가능한 방어가 필요함을 시사한다.