[논문 리뷰] Generalizability vs. Robustness: Adversarial Examples for Medical Imaging

Magdalini Paschali, Sailesh Conjeti외 2명|arXiv (Cornell University)|2018. 03. 23.

Adversarial Robustness in Machine Learning참고 문헌 8인용 수 37

한 줄 요약

이 논문은 일반화 능력 외에도 모델의 내성적 저항력을 평가하기 위해 임상 영상에서의 태스크 특화 적대적 예제를 사용하는 새로운 평가 프레임워크를 제안한다. 이는 유사한 정확도를 보이는 모델들 간의 뚜렷한 내성적 저항력 차이를 드러낸다. 특히 InceptionV3와 DenseNet은 일반화 성능가 비슷한 다른 모델들에 비해 적대적 공격에 대해 뛰어난 내성적 저항력을 보이며, 이는 모델의 신뢰성 향상에 기여할 수 있다.

ABSTRACT

In this paper, for the first time, we propose an evaluation method for deep learning models that assesses the performance of a model not only in an unseen test scenario, but also in extreme cases of noise, outliers and ambiguous input data. To this end, we utilize adversarial examples, images that fool machine learning models, while looking imperceptibly different from original data, as a measure to evaluate the robustness of a variety of medical imaging models. Through extensive experiments on skin lesion classification and whole brain segmentation with state-of-the-art networks such as Inception and UNet, we show that models that achieve comparable performance regarding generalizability may have significant variations in their perception of the underlying data manifold, leading to an extensive performance gap in their robustness.

연구 동기 및 목표

• 일반화 능력에만 초점을 맞추는 기존 평가 방법의 한계를 해결하기 위해, 노이즈 및 적대적 입력에 대한 모델의 내성적 저항력까지 고려하지 않는 문제를 해결한다.
• 유사한 일반화 성능을 보이는 모델들이 의료 영상에서의 적대적 예제에 대해 유사한 수준의 내성적 저항력을 가지는지 조사한다.
• 적대적 공격을 활용한 모델 취약점 탐지 및 임상 신뢰성 향상을 위한 벤치마킹 접근법을 제안하고 검증한다.
• 분류 및 세분화 작업에서 제어된 적대적 변형 조건 하에서 최신 아키텍처(예: Inception, UNet, DenseNet)의 내성적 저항력 차이를 비교한다.

제안 방법

• FGSM, DeepFool, Saliency Map Attack와 같은 기울기 기반 방법을 사용해, 깊이 학습 모델을 오도할 수 있는 눈에 띄지 않는 변형을 생성한다.
• 세분화 작업의 경우, 원본 입력과 시각적으로 유사성을 유지하면서 예측 맵을 왜곡하는 픽셀 단위의 타겟 적대적 예제를 생성하기 위해 Densified Adversarial Generation(DAG)을 적용한다.
• 내성적 저항력을 평가하기 위해 블랙박스 공격 설정을 사용하며, 모델의 내부 파rameter에 접근하지 않고도 적대적 예제를 생성한다.
• 분류 성능는 정확도, 세분화 성능는 Dice 점수로 측정하며, 여러 아키텍처에서 정상 입력, 노이즈가 가미된(리치안), 그리고 적대적 입력 간 성능을 비교한다.
• 오차 분류나 잘못된 세분화를 보장하면서 변형 크기를 최소화하기 위해 상자 제약 최적화 문제를 해결하며, 변형은 ε로 제한되어 있어 눈에 띄지 않도록 보장한다.
• 평가 프레임워크는 표준 테스트 세트 외에도 극단적인 입력 변형, 즉 적대적 및 노이즈가 가미된 데이터를 포함하여 모델의 내성적 저항력을 평가한다.

실험 결과

연구 질문

• RQ1 유사한 일반화 성능를 보이는 딥러닝 모델들이 의료 영상에서의 적대적 예제에 대해 동일한 수준의 내성적 저항력을 가지는가?
• RQ2 다양한 네트워크 아키텍처(예: Inception, UNet, DenseNet)는 분류 및 세분화 작업에서 적대적 변형에 대해 어떻게 다른 민감도를 보이는가?
• RQ3 큰 수작업 레이블이 필요한 테스트 세트 없이도, 적대적 예제가 모델 내성적 저항력 평가에 효과적이고 효율적인 벤치마킹 도구로 활용될 수 있는가?
• RQ4 스킵 연결 및 밀집 블록과 같은 아키텍처 구성 요소가 의료 영상 분석 모델의 일반화 능력과 내성적 저항력 향상에 어느 정도 기여하는가?

주요 결과

• 유사한 일반화 성능를 보이는 바, InceptionV3(IV3)는 적대적 공격 하에서 7% 성능 저하를 보였지만, InceptionV4(IV4, 17%)와 MobileNet(MN, 25%)는 더 높은 성능 저하를 보였다.
• FGSM 공격에 대해서는 InceptionV3가 가장 뛰어난 내성적 저항력을 보였고, DeepFool 및 Saliency Map 공격에서는 InceptionV4가 더 우수한 성능를 보여, 아키텍처에 따라 다른 취약성 패tern을 가짐을 시사한다.
• 세분화 작업에서 DenseNet(DN)은 리치안 노이즈 하에서 1%의 Dice 점수 저하를 보였고, UNet 대비 21% 향상, SegNet 대비 18% 향상된 성능를 기록하며 가장 높은 내성적 저항력을 확보했다.
• SegNet 및 UNet은 정상 입력에서 중간 수준의 성능를 보였지만, 적대적 공격 하에서 심각한 성능 저하(37–40%의 Dice 점수 저하)를 보였다.
• 적대적 예제는 세분화 맵에서 심각한 오분류를 유도했고, 리치안 노이즈는 예측 품질에 거의 영향을 주지 않았다. 이는 적대적 변형이 무작위 노이즈와 동일시할 수 없다는 것을 증명한다.
• 연구 결과에 따르면 내성적 저항력은 정확도와 반드시 관련이 있는 것은 아니며, 유사한 테스트 정확도를 가진 모델들 사이에서도 적대적 입력에 대한 저항력이 크게 다를 수 있음을 확인했으며, 이는 별도의 내성적 저항력 평가가 필수적임을 시사한다.