[논문 리뷰] Efficient and Accurate Pneumonia Detection Using a Novel Multi-Scale Transformer Approach

Ahmed Saber, Amirreza Fateh외 4명|arXiv (Cornell University)|2024. 08. 08.

Advanced Chemical Sensor Technologies인용 수 4

한 줄 요약

이 논문은 흉부 X선에서 효율적이고 정확한 폐렴 진단을 위한 새로운 다중 척도 트랜스포머 기반 방법을 제안한다. TransUNet을 사용해 폐 세분화를 수행하고, ResNet 기반 모델의 특징 맵에 경량 트랜스포머 모듈을 적용한다. 이 방법은 케르마니 데이터셋에서 92.79%의 정확도와 코헨 데이터셋에서 95.11%의 정확도를 기록하여 표준 트랜스포머보다 파rameter 수가 적은데도 성능을 크게 향상시켰다.

ABSTRACT

Pneumonia, a prevalent respiratory infection, remains a leading cause of morbidity and mortality worldwide, particularly among vulnerable populations. Chest X-rays serve as a primary tool for pneumonia detection; however, variations in imaging conditions and subtle visual indicators complicate consistent interpretation. Automated tools can enhance traditional methods by improving diagnostic reliability and supporting clinical decision-making. In this study, we propose a novel multi-scale transformer approach for pneumonia detection that integrates lung segmentation and classification into a unified framework. Our method introduces a lightweight transformer-enhanced TransUNet for precise lung segmentation, achieving a Dice score of 95.68% on the "Chest X-ray Masks and Labels" dataset with fewer parameters than traditional transformers. For classification, we employ pre-trained ResNet models (ResNet-50 and ResNet-101) to extract multi-scale feature maps, which are then processed through a modified transformer module to enhance pneumonia detection. This integration of multi-scale feature extraction and lightweight transformer modules ensures robust performance, making our method suitable for resource-constrained clinical environments. Our approach achieves 93.75% accuracy on the "Kermany" dataset and 96.04% accuracy on the "Cohen" dataset, outperforming existing methods while maintaining computational efficiency. This work demonstrates the potential of multi-scale transformer architectures to improve pneumonia diagnosis, offering a scalable and accurate solution to global healthcare challenges. https://github.com/amirrezafateh/Multi-Scale-Transformer-Pneumonia

연구 동기 및 목표

• 의사의 해석에 따라 변동성이 큰 폐렴 진단 문제를 해결하기 위해, 개발도상국에서의 폐렴 진단 일관성 문제를 해결하기 위함이다.
• 딥 러닝과 주목적 기반 기법을 활용해 폐렴 진단의 정확도와 효율성을 향상시키기 위함이다.
• 고성능을 유지하면서도 트랜스포머 기반 의료 영상 분류의 모델 복잡도와 파rameter 수를 줄이기 위함이다.
• 관련 해부학적 영역에 집중하고 노이즈를 줄이기 위해 폐 세분화를 통합함으로써 분류 성능을 향상시키기 위함이다.
• 자원이 제한된 임상 환경에 적합한 구현 가능한 효율적인 솔루션을 개발하기 위함이다.

제안 방법

• 폐 세분화는 흉부 X선 마스크 및 레이블 데이터셋에서 훈련된 새로운 파rameter 효율적인 트랜스포머 모듈을 통합한 TransUNet 모델을 사용하여 수행된다.
• 세분화된 폐 영역이 추출되어 ResNet-50 및 ResNet-101 모델을 미세조정하기 위한 입력으로 사용되며, 다중 척도 특징 추출을 위해 사용된다.
• 수정된 경량 트랜스포머 모듈이 다중 척도 특징을 처리하여 장거리 상관관계를 모델링하고 폐 영역 내 핵심 패턴을 강조한다.
• 이미지넷 사전 훈련 가중치로 초기화하고 케르마니 및 코헨 폐렴 데이터셋에서 미세조정함으로써 전이 학습을 구현한다.
• 세분화와 주목적 기반 기법의 통합은 배경 노이즈를 줄이고 분류를 위한 특징의 관련성을 향상시킨다.
• 제안된 방법은 원본 이미지 대비 세분화된 이미지 입력에서의 성능을 비교하는 제거 실험(ablation study)를 통해 평가된다.

Figure 1 : the overview of proposed method

실험 결과

연구 질문

• RQ1 표준 트랜스포머에 비해 파rameter 수를 줄이고도 정확도를 높일 수 있는 경량 다중 척도 트랜스포머 모듈은 폐렴 분류 성능 향상에 기여할 수 있는가?
• RQ2 TransUNet를 사용한 폐 세분화는 후속 폐렴 분류 모델의 성능에 어떤 영향을 미치는가?
• RQ3 세분화된 다중 척도 특징 프레임워크에 주목적 기반 기법을 통합할 경우, 흉부 X선 데이터셋에서 진단 정확도는 어느 정도 향상되는가?
• RQ4 기존의 최첨단 트랜스포머 기반 폐렴 진단 모델에 비해 제안된 방법은 더 적은 파rameter로도 뛰어난 성능을 달성할 수 있는가?
• RQ5 낮은 파rameter 수와 효율적인 설계 덕분에 이 방법은 자원이 제한된 환경에서도 높은 정확도를 유지할 수 있는가?

주요 결과

• 제안된 방법은 케르마니 데이터셋에서 92.79%의 정확도, 코헨 데이터셋에서 95.11%의 정확도를 기록하여 강력한 일반화 능력과 강인성을 입증했다.
• 폐 세분화 마스크를 통합함으로써 ResNet-50의 경우 정확도가 2%p 향상되었고, ResNet-101의 경우 2.73%p 향상되었다.
• 원본 이미지 대비 세분화된 이미지를 사용할 경우 정밀도, 재현율, F1 점수, AUC 모두 높아져 잘못 분류되는 경우가 줄어들었다.
• 제거 실험 결과, 세분화가 노이즈를 크게 줄이고 특징의 관련성을 향상시켜 두 가지 ResNet 기반 모델에서 일관된 성능 향상을 이끌어냈다.
• 제안된 트랜스포머 모듈은 표준 트랜스포머보다 파rameter 수가 적지만 높은 성능을 유지하여 자원이 제한된 환경에서의 구현에 적합하다.
• 혼동 행렬 분석 결과, 예측된 폐 마스크를 사용할 경우 폐렴 및 코로나19 카테고리에서 거짓 양성과 거짓 음성이 일관되게 감소했다.

Figure 2 : the overview of transformer