[논문 리뷰] M3d-CAM: A PyTorch library to generate 3D data attention maps for medical deep learning

Karol Gotkowski, Camila González외 2명|arXiv (Cornell University)|2020. 07. 01.

COVID-19 diagnosis using AI참고 문헌 9인용 수 20

한 줄 요약

M3d-CAM은 의료 딥러닝 모델을 위한 3D 및 2D 어텐션 맵을 쉽게 생성할 수 있도록 도와주는 파이토치 라이브러리입니다. 분류 및 분할 작업을 지원하며, 단일 라인 삽입을 통해 원활하게 통합되며, Grad-CAM, 가이드드 백프로파게이션, 가이드드 Grad-CAM, Grad-CAM++와 같은 다양한 어텐션 방법을 제공합니다. 코드 수정 최소화와 기존 모델과의 완전한 호환성을 확보합니다.

ABSTRACT

M3d-CAM is an easy to use library for generating attention maps of CNN-based PyTorch models improving the interpretability of model predictions for humans. The attention maps can be generated with multiple methods like Guided Backpropagation, Grad-CAM, Guided Grad-CAM and Grad-CAM++. These attention maps visualize the regions in the input data that influenced the model prediction the most at a certain layer. Furthermore, M3d-CAM supports 2D and 3D data for the task of classification as well as for segmentation. A key feature is also that in most cases only a single line of code is required for generating attention maps for a model making M3d-CAM basically plug and play.

연구 동기 및 목표

• 3D 및 2D 입력 데이터에 대한 어텐션 맵 시각화를 통해 의료 딥러닝 모델의 해석 가능성 향상.
• 기존 파이토치 모델에 최소한의 코드 변경으로 통합 가능한 플러그 앤 플레이 솔루션 제공.
• 분류 및 분할 작업 모두에 대해 Grad-CAM, 가이드드 백프로파게이션, 가이드드 Grad-CAM, Grad-CAM++와 같은 다양한 어텐션 맵 생성 방법 지원.
• 내장된 메트릭과 내보낼 수 있는 결과를 통해 어텐션 맵을 정답 마스크와 비교 평가할 수 있도록 지원.
• 사용자가 특정 레이어를 선택하거나 자동으로 최고 수준의 컨볼루션 레이어를 검출하여 어텐션 시각화를 쉽게 수행할 수 있도록 지원.

제안 방법

• M3d-CAM은 단일 라인을 통해 사전 학습된 파이토치 모델에 삽입됩니다: `model = medcam.inject(model)`.
• 라이브러리는 추론 중에 어텐션 맵을 생성하기 위해 모델 기능을 동적으로 추가하거나 대체하며, 모델 동작에 영향을 주지 않습니다.
• 2D 및 3D 데이터 입력을 모두 지원하며, 분류 및 분할 모델 모두와 호환됩니다.
• 어텐션 맵은 Grad-CAM, 가이드드 백프로파게이션, 가이드드 Grad-CAM, Grad-CAM++ 등의 다양한 백엔드 방법을 사용해 생성됩니다.
• 레이어 선택은 유연하게 가능하며, 단일 레이어, 레이어 목록, 또는 'auto'를 지정해 최고 수준의 컨볼루션 레이어를 자동으로 선택할 수 있습니다.
• 평가 기능은 `model.forward(input, mask)` 또는 직접 `medcam.Evaluator` 사용을 통해 지원되며, 결과는 엑셀로 내보낼 수 있습니다.

실험 결과

연구 질문

• RQ1 딥러닝 모델을 사용해 3D 의료 영상 데이터에 대해 어텐션 맵을 효율적으로 생성하는 방법은 무엇인가요?
• RQ2 기존의 파이토치 기반 의료 모델에 해석 가능성 기능을 통합하기 위해 필요한 최소한의 코드 오버헤드는 얼마인가요?
• RQ3 다양한 어텐션 맵 백엔드(예: Grad-CAM 대비 가이드드 Grad-CAM)는 2D 및 3D 데이터에서 모델의 주의 집중 영역을 어떻게 다르게 시각화합니까?
• RQ4 정답 마스크를 사용해 어텐션 맵 평가를 체계적으로 수행할 수 있을까요? 이를 통해 모델의 해석 가능성 수준을 정량화할 수 있나요?
• RQ5 모델 아키텍처나 추론 파이프라인을 수정하지 않고도 어텐션 맵을 생성할 수 있는 정도는 어느 정도인가요?

주요 결과

• M3d-CAM은 단 한 줄의 코드로 어텐션 맵 생성이 가능해 기존 모델과의 호환성과 접근성 면에서 매우 뛰어납니다.
• 라이브러리는 2D 및 3D 데이터 모두에 대해 Grad-CAM, 가이드드 백프로파게이션, 가이드드 Grad-CAM, Grad-CAM++와 같은 주요 어텐션 맵 백엔드를 모두 지원합니다.
• 어텐션 맵는 추론 중에 자동으로 생성되며, `output_dir` 및 `save_maps` 매개변수를 사용해 디스크에 저장할 수 있습니다.
• 라이브러리는 컨볼루션 레이어가 아닌 레이어(예: 완전 연결 레이어)를 정확히 식별하여 어텐션 맵 생성에서 제외합니다. 이는 이러한 레이어가 입력 공간으로의 투영이 불가능하기 때문입니다.
• 정답 마스크와의 어텐션 맵 평가는 `medcam.Evaluator` 클래스를 통해 내장 기능으로 제공되며, 결과는 엑셀로 내보낼 수 있습니다.
• Grad-CAM++는 기존 Grad-CAM 대비 더 정밀한 어텐션 맵을 생성하며, 특히 동일한 클래스의 여러 인스턴스가 이미지에 존재할 경우에 유의미한 성능 향상을 보입니다.