[논문 리뷰] Hybrid Inception Architecture with Residual Connection: Fine-tuned Inception-ResNet Deep Learning Model for Lung Inflammation Diagnosis from Chest Radiographs

Mehdi Neshat, Muktar Beshir Ahmed외 3명|arXiv (Cornell University)|2023. 10. 04.

COVID-19 diagnosis using AIMedicine인용 수 3

한 줄 요약

이 논문은 흉부 X선에서 자동으로 폐 염증을 진단하기 위해 최적화된 Inception-ResNet-V2 모델을 제안한다. Inception 모듈과 잔차 연결을 결합하여 특징 추출 능력과 계산 효율성을 향상시킨다. 이 모델은 멘들리 데이터셋에서 98.4%의 분류 정확도를 기록하여, 최신의 7개의 CNN 모델보다 최대 16.1% 높은 성능을 보였다.

ABSTRACT

Diagnosing lung inflammation, particularly pneumonia, is of paramount importance for effectively treating and managing the disease. Pneumonia is a common respiratory infection caused by bacteria, viruses, or fungi and can indiscriminately affect people of all ages. As highlighted by the World Health Organization (WHO), this prevalent disease tragically accounts for a substantial 15% of global mortality in children under five years of age. This article presents a comparative study of the Inception-ResNet deep learning model's performance in diagnosing pneumonia from chest radiographs. The study leverages Mendeleys chest X-ray images dataset, which contains 5856 2D images, including both Viral and Bacterial Pneumonia X-ray images. The Inception-ResNet model is compared with seven other state-of-the-art convolutional neural networks (CNNs), and the experimental results demonstrate the Inception-ResNet model's superiority in extracting essential features and saving computation runtime. Furthermore, we examine the impact of transfer learning with fine-tuning in improving the performance of deep convolutional models. This study provides valuable insights into using deep learning models for pneumonia diagnosis and highlights the potential of the Inception-ResNet model in this field. In classification accuracy, Inception-ResNet-V2 showed superior performance compared to other models, including ResNet152V2, MobileNet-V3 (Large and Small), EfficientNetV2 (Large and Small), InceptionV3, and NASNet-Mobile, with substantial margins. It outperformed them by 2.6%, 6.5%, 7.1%, 13%, 16.1%, 3.9%, and 1.6%, respectively, demonstrating its significant advantage in accurate classification.

연구 동기 및 목표

• 딥 러닝을 활용해 흉부 레이저 영상에서 폐렴 진단의 정확도와 효율성을 향상시키는 것.
• 기타 최신의 CNN 모델들과 비교하여 Inception-ResNet-V2 아키텍처가 폐 염증 탐지에 얼마나 효과적인지 평가하는 것.
• 전이 학습과 미세 조정이 모델의 일반화 능력과 진단 성능에 미치는 영향을 조사하는 것.
• 하이브리드 Inception과 잔차 연결이 저수준에서 고수준 표현에 이르기까지 다중 척도 특징을 효과적으로 포착하는 데 기여하는 방식을 설명하는 것.
• 임상 환경에서 조기 폐렴 진단을 위한 강력하고 계산적으로 효율적인 딥 러닝 솔루션을 제공하는 것.

제안 방법

• 연구는 Inception 모듈과 잔차 연결을 통합하여 깊은 네트워크 학습과 개선된 기울기 흐름을 가능하게 하는 Inception-ResNet-V2 아키텍처를 사용한다.
• ImageNet에서 사전 학습된 가중치를 사용하여 전이 학습을 적용한 후, 바이러스성 및 박테리아성 폐렴을 포함한 총 5,856장의 이미지로 구성된 멘들리 흉부 X선 데이터셋에서 미세 조정을 수행한다.
• 일반화 능력을 향상시키고 과적합을 줄이기 위해 데이터 증강 기법을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 하이브리드 Inception 아키텍처는 각 모듈에서 다수의 컨볼루션 필터 크기(1x1, 3x3, 5x5)를 결합하여 다양한 공간적 특징을 추출한다.
• 잔차 연결은 네트워크가 신뢰성 있는 정체성 매핑을 학습할 수 있도록 하여 깊은 네트워크에서 기울기 소실 문제를 완화한다.
• 학습률 스케줄링과 조기 정지 기법을 포함한 모델 최적화를 통해 수렴 성능 향상과 과적합 방지를 도모한다.

실험 결과

연구 질문

• RQ1 Inception-ResNet-V2 모델은 흉부 X선에서 폐렴을 분류하는 데 있어 다른 최신의 CNN 모델들과 비교해 어떤 성능을 보이는가?
• RQ2 제한된 의료 영상 데이터셋에서 미세 조정이 딥 러닝 모델의 진단 정확도에 얼마나 기여하는가?
• RQ3 하이브리드 Inception 모듈과 잔차 연결이 폐 염증 탐지에 있어 특징 표현 능력을 향상시키는 데 기여하는 바는 무엇인가?
• RQ4 MobileNet, EfficientNet, NASNet 변종과 비교해 Inception-ResNet-V2 모델이 더 높은 정확도와 계산 효율성을 달성할 수 있는가?
• RQ5 멘들리 데이터셋에서 바이러스성 폐렴과 박테리아성 폐렴의 하위 유형 간에 모델의 성능은 얼마나 견고한가?

주요 결과

• Inception-ResNet-V2 모델은 멘들리 흉부 X선 데이터셋에서 98.4%의 분류 정확도를 기록했으며, ResNet152V2(95.8%), MobileNet-V3(91.9%), EfficientNetV2(85.4%)를 크게 앞서는 성능을 보였다.
• InceptionV3보다 16.1%포인트, NASNet-Mobile보다 3.9%포인트 높은 성능을 기록하여, 모델의 특징 추출 능력이 뛰어나다는 것을 입증했다.
• 전이 학습과 함께 미세 조정을 적용함으로써, 특히 소규모 및 불균형된 의료 영상 데이터셋에서 성능 향상이 뚜렷하게 나타났다.
• 하이브리드 Inception 아키텍처와 잔차 연결 덕분에 훈련 시간이 단축되었고 기울기 흐름이 향상되어 더 빠른 수렴이 가능했다.
• 바이러스성 및 박테리아성 폐렴 모두에 걸쳐 뛰어난 일반화 능력을 보여, 클래스 변동에 대한 견고함을 입증했다.
• 비교된 모든 모델 중에서 Inception-ResNet-V2 모델이 가장 높은 F1 점수와 AUC를 기록하여, 임상 진단 응용 분야에서의 신뢰성을 확인했다.