[논문 리뷰] ACAT: Adversarial Counterfactual Attention for Classification and Detection in Medical Imaging

Alessandro Fontanella, Antreas Antoniou외 5명|arXiv (Cornell University)|2023. 03. 27.

COVID-19 diagnosis using AI인용 수 4

한 줄 요약

이 논문은 적대적 반사적 이미지에서 유도된 선명도 맵을 사용하여 다중 스케일에서 소프트 공간 주의 맵을 생성하는 새로운 프레임워크인 Adversarial Counterfactual Attention (ACAT)을 제안한다. 이는 의료 영상에서 분류 정확도와 강인성을 향상시킨다. ACAT는 뇌 CT 스캔에서 병변 분류 정확도를 71.39%에서 72.55%로, 폐 CT 스캔에서는 67.71%에서 70.84%로 향상시키며, 수동 ROI 주석이 필요 없이 기준 모델과 경쟁 방법보다 뛰어난 성능을 보인다.

ABSTRACT

In some medical imaging tasks and other settings where only small parts of the image are informative for the classification task, traditional CNNs can sometimes struggle to generalise. Manually annotated Regions of Interest (ROI) are sometimes used to isolate the most informative parts of the image. However, these are expensive to collect and may vary significantly across annotators. To overcome these issues, we propose a framework that employs saliency maps to obtain soft spatial attention masks that modulate the image features at different scales. We refer to our method as Adversarial Counterfactual Attention (ACAT). ACAT increases the baseline classification accuracy of lesions in brain CT scans from 71.39% to 72.55% and of COVID-19 related findings in lung CT scans from 67.71% to 70.84% and exceeds the performance of competing methods. We investigate the best way to generate the saliency maps employed in our architecture and propose a way to obtain them from adversarially generated counterfactual images. They are able to isolate the area of interest in brain and lung CT scans without using any manual annotations. In the task of localising the lesion location out of 6 possible regions, they obtain a score of 65.05% on brain CT scans, improving the score of 61.29% obtained with the best competing method.

연구 동기 및 목표

• 의료 영상에서 신호 대 잡음 비율이 낮고 진단적으로 관련이 있는 영역이 작기 때문에 전통적인 CNN이 일반화하기 어려운 문제를 해결하기 위해.
• 데이터 기반 선명도 맵에서 주의 맵을 학습하여 비용이 많이 들고 일관성이 없는 수동 영역(ROI) 주석에 의존하는 것을 제거하기 위해.
• 선명도 맵에서 유도된 다중 스케일 주의 맵을 통해 특징을 조절하여 모델의 강인성과 분류 성능을 향상시키기 위해.
• 특히 적대적 반사적 이미지를 사용한 선명도 맵 생성 기법이 진단적으로 관련이 있는 영역을 효과적으로 분리할 수 있는지 조사하기 위해.
• 선명도 맵 기반 주의 메커니즘이 무작위 정규화나 단일 스케일 주의보다 더 효과적인지 확인하기 위해.

제안 방법

• ACAT는 이중 브랜치 아키텍처를 사용한다: 하나의 브랜치는 원본 이미지 특징을 처리하고, 다른 브랜치는 선명도 맵을 처리하여 다중 네트워크 스케일에서 소프트 공간 주의 맵을 생성한다.
• 선명도 맵은 사전 훈련된 분류기의 예측에 따라 입력을 목표 클래스 쪽으로 이동시키기 위한 최소한의 잠재 공간 변형을 찾는 적대적 반사적 이미지 생성 방법을 사용하여 생성된다.
• 주의 맵은 네트워크의 세 단계(초기, 중간, 후기)에서 특징 맵을 조절하기 위해 적용되어 비정보성 영역의 노이즈를 줄인다.
• 주의 맵 융합 레이어는 학습 가능한 가중치를 사용해 다중 스케일 주의 맵을 융합하여 최종 분류 결정을 더 잘 안내한다.
• 이 프레임워크는 엔드 투 엔드로 훈련되며, 선명도 맵 생성기와 분류기가 함께 최적화되어 특징 조절과 예측 정확도를 향상시킨다.
• 간단한 입력 노이즈에 대한 네트워크 레이어의 전 활성화 분산 측정을 통해 강인성을 평가하였으며, ACAT는 분산을 감소시키고 훈련을 안정화시킴을 보였다.

Figure 1: Architecture of the framework proposed for 3D volumes. The slices of each volume are first processed separately and then combined by applying an attention module over the slices. For each volume we also consider as input the corresponding saliency map. From the saliency branch, we obtain s

실험 결과

연구 질문

• RQ1 수동 주석 없이, 적대적 반사적 이미지에서 유도된 선명도 맵이 낮은 신호의 의료 영상에서 작은 진단적 관련 영역을 효과적으로 분리할 수 있는가?
• RQ2 선명도 기반 주의 맵을 사용한 다중 스케일 주의 조절이 뇌 및 폐 CT 스캔 작업에서 기준 CNN보다 분류 정확도를 향상시키는가?
• RQ3 ACAT의 주의 메커니즘이 성능과 강인성 측면에서 무작위 드롭아웃이나 단일 스케일 주의와 비교해 어떻게 다른가?
• RQ4 반사적 이미지 기반 주의 맵이 다중 클래스 국소화 작업에서 병변 영역의 국소화 정확도를 어느 정도 향상시키는가?
• RQ5 ACAT의 성능 향상은 의미 있는 주의 기반인가, 아니면 무작위 특징 제거에 의한 단순 정규화 효과인가?

주요 결과

• ACAT는 IST-3 뇌 CT 스캔에서 분류 정확도를 71.39%에서 72.55%로 향상시켜 상대적 향상률이 1.16%p이다.
• MosMed 폐 CT 스캔에서 ACAT는 정확도를 67.71%에서 70.84%로 높여 상대적 향상률이 3.13%p이다.
• ACAT는 뇌 CT 스캔에서 병변 국소화 점수 65.05%를 기록했으며, 경쟁 방법 중 최고 성능인 61.29%를 초월했다.
• 주의 융합 레이어를 제거하면 정확도가 69.79%로 떨어지고, 모든 주의 모듈을 제거하면 성능이 더 악화되어 68.23%로 떨어지며, 다중 스케일 주의의 중요성을 입증한다.
• ACAT는 모든 네트워크 레이어에서 전 활성화 분산을 크게 감소시켜, 특히 입력 노이즈 하에서도 강인성 향상과 더불어 더 부드러운 최적화를 나타낸다.
• 무작위 드롭아웃 실험 결과, ACAT의 성능 향상은 무작위 특징 제거로 재현될 수 없음을 확인하였으며, 주의 맵이 정보를 담고 있으며 단순히 정규화 효과가 아니라는 점을 확인한다.