[논문 리뷰] A hybrid deep learning framework for Covid-19 detection via 3D Chest CT Images

Shuang Liang|arXiv (Cornell University)|2021. 07. 08.

COVID-19 diagnosis using AI참고 문헌 16인용 수 4

한 줄 요약

이 논문은 3D CNN와 트랜스포머 기반 자기주의 메커니즘을 융합한 하이브리드 딥러닝 프레임워크인 CTNet을 제안한다. 이는 흉부 CT 영상에서 코로나19를 진단하기 위한 것이다. 병변의 연속성을 유지하면서 입력 크기를 줄이는 데이터 리샘플링 전략을 도입함으로써, CTNet는 COV19-CT-DB 검증 세트에서 매크로 F1 스코어 88.23%를 달성하였으며, 이는 기준 모델 대비 18.23%포인트 향상된 성능이다. 또한, 케이스당 380ms의 빠른 추론 속도를 유지를 하였다.

ABSTRACT

In this paper, we present a hybrid deep learning framework named CTNet which combines convolutional neural network and transformer together for the detection of COVID-19 via 3D chest CT images. It consists of a CNN feature extractor module with SE attention to extract sufficient features from CT scans, together with a transformer model to model the discriminative features of the 3D CT scans. Compared to previous works, CTNet provides an effective and efficient method to perform COVID-19 diagnosis via 3D CT scans with data resampling strategy. Advanced results on a large and public benchmarks, COV19-CT-DB database was achieved by the proposed CTNet, over the state-of-the-art baseline approachproposed together with the dataset.

연구 동기 및 목표

• 큰 입력 볼륨으로 인해 3D CT 기반 코로나19 진단에서 높은 계산 비용과 불안정한 학습 문제가 발생하는 문제를 해결하기 위해.
• 새로운 데이터 리샘플링 전략을 제안하여 3D CT 스캔의 크기를 줄이되, 분류에 유의미한 병변 특징을 손실 없이 유지하기 위해.
• 지역적 특징 추출을 위한 CNN와 장거리 의존성 모델링을 위한 트랜스포머를 융합함으로써 진단 성능을 향상시키기 위해.
• 제한된 계산 자원을 가진 임상 환경에 적합한 효율적이고 엔드 투 엔드로 학습 가능한 프레임워크를 개발하기 위해.
• 정확도와 추론 속도 측면에서 기존 최고 수준의 방법들을 초월하는 성능을 보이기 위해, 공개된 COV19-CT-DB 데이터셋에서 성능을 평가하기 위해.

제안 방법

• 각 3D 스캔에서 고정된 수의 CT 슬라이스(32개로 설정)를 균일하게 샘플링하는 데이터 리샘플링 전략을 제안하여, 입력 크기를 줄이면서도 병변의 연속성을 유지한다.
• 입력 모듈은 총 스캔 수와 목표 리샘플링 수(renumCT)를 기반으로 하이브리드 리샘플링-오버샘플링 접근법을 사용하여 CT 스캔을 리샘플링한다.
• 채널별 특징 반응을 재조정함으로써 특징의 분류 능력을 향상시키기 위해, 스queeze-and-excitation(SE) 주의 모듈을 갖춘 3D CNN 특징 추출기 사용.
• 추출된 특징은 평탄화되어 두 개의 병렬 브랜치로 입력된다: 트랜스포머 기반 정보 집약 모듈과 완전 연결(FC) 브랜치.
• 최종 분류를 위해 소프트맥스 레이어를 사용하기 전에 트랜스포머 브랜치와 FC 브랜치 간의 요소별 덧셈(EWA)을 통해 특징 융합을 수행한다.
• 두 대의 1080Ti GPU에서 스텝 감소 학습률 스케줄을 사용한 확률적 경사 하강법을 사용하여 엔드 투 엔드로 모델을 학습시킨다.

실험 결과

연구 질문

• RQ1 데이터 리샘플링 전략은 3D CT 기반 코로나19 진단의 계산 부담을 효과적으로 줄일 수 있을까? 동시에 임상적으로 중요한 특징을 유지할 수 있을까?
• RQ2 CNN 기반 지역적 특징 추출과 트랜스포머 기반 전역적 맥락 모델링을 융합하면 3D CT 영상에서 진단 성능이 향상될까?
• RQ3 제안된 하이브리드 CTNet 프레임워크는 기존 최고 수준의 방법들에 비해 매크로 F1 스코어와 추론 속도 측면에서 어떻게 비교되는가?
• RQ4 이 프레임워크는 전체 볼륨의 CT 처리가 필요한 정도를 얼마나 줄일 수 있을까? 이는 더 빠르고 효율적인 임상적 도입 가능성을 높일 수 있는가?
• RQ5 이 모델은 다양한 크기의 입력에 대해 강건할 수 있을까? 또한, 여러 병원에서 수집된 다양한 3D CT 스캔에 일반화될 수 있을까?

주요 결과

• 제안된 데이터 리샘플링 전략은 입력 크기를 최대 700개의 슬라이스에서 32개로 줄였지만, 여전히 진단적 관련성을 유지하였다.
• CTNet는 COV19-CT-DB 검증 세트에서 매크로 F1 스코어 88.23%를 달성하였으며, 이는 기준 방법 대비 18.23%포인트 향상된 성능이다.
• CTNet의 FC 전용 브랜치는 매크로 F1 스코어 87.96%를 기록하여, 트랜스포머 융합 없이도 뛰어난 성능을 보였다.
• 전체 CTNet(융합) 모델은 기준 모델과 FC 전용 버전을 모두 능가하였으며, 이는 트랜스포머 기반 특징 융합의 효과성을 확인하는 데 기여하였다.
• 각 케이스의 추론 시간은 단지 380ms였으며, 이는 실시간 임상 적용에 있어서 강력한 실용성을 보여주었다.
• 절단 실험 결과, 리샘플링과 하이브리드 아키텍처의 조합이 계산 요구량을 줄이면서도 뛰어난 성능을 내는 데 기여함을 확인하였다.