[논문 리뷰] Robust Tumor Localization with Pyramid Grad-CAM

Sungmin Lee, Jangho Lee외 3명|arXiv (Cornell University)|2018. 05. 29.

Advanced Neural Network Applications참고 문헌 14인용 수 30

한 줄 요약

이 논문은 다층 연결 특징 피라미드 네트워크(DC-FPN)를 사용하여 다중 척도 클래스 활성화 맵을 생성하는 약한 지도 학습 기반 종양 국소화 방법인 피라미드 기울기-CAM(PG-CAM)을 제안한다. 여러 특징 피라미드 수준에서 기울기 기반 CAM을 융합함으로써 PG-CAM은 종래의 Grad-CAM 대비 뇌막종 MRI 데이터에서 23% 높은 국소화 정확도를 달성하여 픽셀 수준의 애너테이션 없이도 강력하고 세밀한 종양 경계 탐지를 가능하게 한다.

ABSTRACT

A meningioma is a type of brain tumor that requires tumor volume size follow ups in order to reach appropriate clinical decisions. A fully automated tool for meningioma detection is necessary for reliable and consistent tumor surveillance. There have been various studies concerning automated lesion detection. Studies on the application of convolutional neural network (CNN)-based methods, which have achieved a state-of-the-art level of performance in various computer vision tasks, have been carried out. However, the applicable diseases are limited, owing to a lack of strongly annotated data being present in medical image analysis. In order to resolve the above issue we propose pyramid gradient-based class activation mapping (PG-CAM) which is a novel method for tumor localization that can be trained in weakly supervised manner. PG-CAM uses a densely connected encoder-decoder-based feature pyramid network (DC-FPN) as a backbone structure, and extracts a multi-scale Grad-CAM that captures hierarchical features of a tumor. We tested our model using meningioma brain magnetic resonance (MR) data collected from the collaborating hospital. In our experiments, PG-CAM outperformed Grad-CAM by delivering a 23 percent higher localization accuracy for the validation set.

연구 동기 및 목표

• 의료 영상에서 강한 애너테이션의 한계를 해결하기 위해 약한 지도 학습 기반 종양 국소화를 가능하게 하기 위해.
• 심층 컨볼루션 네트워크의 더 깊은 층에서 유도된 계층적 다중 척도 특징을 활용하여 종양 국소화 정확도를 향상시키기 위해.
• 경계 상자 또는 픽셀 수준의 애너테이션 없이도 세밀한 종양 경계를 포착할 수 있는 방법을 개발하기 위해.
• 저자원 의료 영상 환경에 적용 가능한 강력하고 종단 간(end-to-end) 학습 가능한 국소화 프레임워크를 구축하기 위해.

제안 방법

• 모델은 다층 연결 인코더-디코더 특징 피라미드 네트워크(DC-FPN)를 백본으로 사용하여 다양한 층 간의 다중 척도 특징를 유지하고 전달한다.
• 다양한 피라미드 수준의 특징 맵에 기울기 기반 클래스 활성화 맵(Grad-CAM)을 적용하여 척도별 CAM을 생성한다.
• 다중 척도 CAM은 요소별 평균을 통해 업샘플링 및 융합되어 입력 이미지 해상도와 동일한 최종 PG-CAM을 생성한다.
• 밀집 스케일 연결은 특징의 열화를 방지하고 깊은 층을 거쳐도 저수준 세부 정보가 유지되도록 한다.
• 이중으로 학습되며 이미지 수준의 레이블만을 사용하므로 약한 지도 학습이 가능하다.
• 최종 PG-CAM은 종양에 해당하는 고활성 영역을 식별함으로써 종양 국소화에 활용된다.

실험 결과

연구 질문

• RQ1 계층적 CNN 아키텍처에서 유도된 다중 척도 특징 맵이 약한 지도 학습 환경에서 종양 국소화 정확도 향상에 기여하는가?
• RQ2 다른 특징 피라미드 수준에서 유도된 기울기 기반 CAM의 통합이 국소화 정밀도 및 경계 세부 정보에 어떤 영향을 미치는가?
• RQ3 표준 잔차 네트워크에 비해 다층 연결 특징 피라미드 네트워크가 특징 유지 및 국소화 강건성에 얼마나 기여하는가?
• RQ4 PG-CAM은 강한 애너테이션 없이도 표준 Grad-CAM보다 뛰어난 성능을 달성할 수 있는가?

주요 결과

• PG-CAM은 뇌막종 MRI 검증 세트에서 표준 Grad-CAM 대비 국소화 정확도가 23% 향상되었다.
• 다양한 피라미드 수준에서 유도된 다중 척도 CAM(특히 Scale 1 및 Scale 4)의 사용이 종양의 형태와 경계를 더 잘 특징화하는 데 기여했다.
• PG-CAM은 세부 정보가 단일 척도 Grad-CAM보다 손실되는 것을 방지하며, 전체 해상도의 활성화 맵(224×224)을 생성했다.
• DC-FPN 내 밀집 연결 메커니즘은 깊은 네트워크 깊이에도 불구하고 저수준 특징을 효과적으로 유지하여 국소화 강건성을 향상시켰다.
• 시각화 결과, 다양한 척도가 서로 다른 활성화 패턴을 포착하는 것으로 나타났다: 미세 척도 맵은 종양 영역에 집중하였고, 거시 척도 맵은 구조적 맥락을 강조하였다.
• 분류 정확도는 유지하면서도 국소화 성능이 크게 향상되어, 약한 지도 학습 기반 의료 영상 분석에 효과적임을 입증하였다.