[논문 리뷰] Improving Deep Lesion Detection Using 3D Contextual and Spatial Attention

Qingyi Tao, Zongyuan Ge외 3명|arXiv (Cornell University)|2019. 07. 09.

Advanced Neural Network Applications참고 문헌 8인용 수 5

한 줄 요약

이 논문은 3D CT 스캔에서의 깊이 있는 병변 탐지 성능을 향상시키기 위해 3D 문맥 주의(3D contextual attention)와 공간 주의(spatial attention)를 결합한 이중 주의 메커니즘을 제안한다. 슬라이스 간의 특징 중요도를 적응적으로 재가중하고 각 슬라이스 내에서 분류에 유의미한 영역에 집중함으로써, 계산 비용을 최소화하면서도 병변 탐지 성능을 향상시킨다. DeepLesion 데이터셋에서 이미지당 0.5개의 가짜 양성(False Positive, FP)일 때 감도(sensitivity)가 70.8%에 도달한다.

ABSTRACT

Lesion detection from computed tomography (CT) scans is challenging compared to natural object detection because of two major reasons: small lesion size and small inter-class variation. Firstly, the lesions usually only occupy a small region in the CT image. The feature of such small region may not be able to provide sufficient information due to its limited spatial feature resolution. Secondly, in CT scans, the lesions are often indistinguishable from the background since the lesion and non-lesion areas may have very similar appearances. To tackle both problems, we need to enrich the feature representation and improve the feature discriminativeness. Therefore, we introduce a dual-attention mechanism to the 3D contextual lesion detection framework, including the cross-slice contextual attention to selectively aggregate the information from different slices through a soft re-sampling process. Moreover, we propose intra-slice spatial attention to focus the feature learning in the most prominent regions. Our method can be easily trained end-to-end without adding heavy overhead on the base detection network. We use DeepLesion dataset and train a universal lesion detector to detect all kinds of lesions such as liver tumors, lung nodules, and so on. The results show that our model can significantly boost the results of the baseline lesion detector (with 3D contextual information) but using much fewer slices.

연구 동기 및 목표

• 낮은 해상도와 높은 클래스 간 유사성으로 인해 작은 병변을 탐지하는 데 어려움을 겪는 문제를 해결한다.
• 배경 조직과 시각적으로 유사한 병변의 특징 표현을 풍부하고 분류에 강력한 특징으로 개선한다.
• 기본 3D 병변 탐지기의 성능을 향상시키되, 추가적인 계산 비용을 최소화하는 엔드 투 엔드 학습 가능한 프레임워크를 개발한다.
• 일반적인 탐지 헤드를 사용하여 다양한 병변 유형(예: 간 종양, 폐 결절)에 대해 강건한 탐지 성능을 확보한다.

제안 방법

• 학습 가능한 컨볼루션 레이어와 소프트맥스 정규화를 사용해 M개의 입력 슬라이스 간의 슬라이스 별 주의 가중치를 계산하는 3D 문맥 주의 모듈을 도입한다.
• 주의 가중치를 통한 소프트 재샘플링 기법을 적용해 관련된 인접 슬라이스의 특징을 선택적으로 집계함으로써 3D 문맥 모델링을 향상시킨다.
• 각 특징 맵 별로 학습 가능한 주의 맵을 생성하는 공간 주의 모듈을 통합하여 각 2D 슬라이스 내에서 분류에 기여하는 영역에 주목한다.
• R-FCN 기반의 3D 병변 탐지 프레임워크를 수정하여 두 주의 모듈을 통합하고, ROI 풀링 이전에 특징 융합을 수행한다.
• RPN과 탐지 헤드에서 분류 및 회귀 손실을 동시에 최적화하여 엔드 투 엔드 학습을 구현한다.
• 3채널 그룹 이미지(핵심 슬라이스 + M−1개의 인접 슬라이스)를 활용해 3D 공간적 구조를 유지하면서도 2D 컨볼루션 신경망 처리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 병변이 작고 배경 조직과 시각적으로 유사할 경우, 병변이 포함된 여러 CT 슬라이스 간의 특징을 적응적으로 집계함으로써 탐지 성능 향상이 가능한가?
• RQ2 공간 주의가 개별 2D 슬라이스 내에서 병변 영역의 특징 학습에 얼마나 기여하는가?
• RQ3 다양한 가짜 양성률에서 문맥 주의와 공간 주의 모듈의 성능 향상 정도는 어떻게 비교되는가?
• RQ4 이중 주의 메커니즘은 계산 비용을 최소화하면서도 3D 병변 탐지 프레임워크에 통합 가능한가?
• RQ5 이 주의 메커니즘은 DeepLesion 데이터셋에서 다양한 병변 유형에 대해 감도와 국소화 정확도를 향상시키는가?

주요 결과

• 제안된 방법은 이미지당 0.5개의 가짜 양성일 때 감도가 70.8%에 도달하여, 공간 주의만 사용하는 기준 모델 대비 1.8% 향상된 성능을 기록한다.
• 공간 주의만 사용할 경우, 감도는 63%에서 69%로 상승하여 예측 신뢰도 향상에 강력한 영향을 미친다.
• 높은 가짜 양성률에서 문맥 주의가 더 큰 기여를 하며, 노이즈가 많은 조건에서 탐지 성능을 정교화하는 데 기여함을 시사한다.
• 두 주의 모듈의 조합이 가장 높은 성능을 기록하여, 상호 슬라이스 주의와 내부 슬라이스 주의 간 상호보완적 이점이 있음을 입증한다.
• 시각화 결과, 문맥 주의 모듈이 병변 특징을 포함한 슬라이스에 더 높은 가중치를 할당하고 관련 없는 슬라이스는 억제함을 확인할 수 있다.
• 공간 주의 모듈은 병변이 명확히 보이는 슬라이스에서 병변 영역을 명확히 강조하며, 비병변 영역에서는 주의를 감소시킴을 확인할 수 있다.