[논문 리뷰] FLANNEL: Focal Loss Based Neural Network Ensemble for COVID-19 Detection

Zhi Qiao, Austin Bae외 3명|arXiv (Cornell University)|2020. 10. 30.

COVID-19 diagnosis using AI참고 문헌 25인용 수 5

한 줄 요약

FLANNEL은 클래스 불균형 문제를 해결하기 위해 포커스 손실 기반의 신경망 앙상블을 제안하여 흉부 X선 영상에서 코로나19 검출 성능을 향상시킨다. 여러 CNN 모델을 조합하는 방식으로, 매크로-F1 스코어 0.8168을 기록하여 최고의 베이스라인 대비 6% 상대적 향상을 보였다. 정밀도는 0.7833, 재현율은 0.8609를 기록하였다.

ABSTRACT

To test the possibility of differentiating chest x-ray images of COVID-19 against other pneumonia and healthy patients using deep neural networks. We construct the X-ray imaging data from two publicly available sources, which include 5508 chest x-ray images across 2874 patients with four classes: normal, bacterial pneumonia, non-COVID-19 viral pneumonia, and COVID-19. To identify COVID-19, we propose a Focal Loss Based Neural Ensemble Network (FLANNEL), a flexible module to ensemble several convolutional neural network (CNN) models and fuse with a focal loss for accurate COVID-19 detection on class imbalance data. FLANNEL consistently outperforms baseline models on COVID-19 identification task in all metrics. Compared with the best baseline, FLANNEL shows a higher macro-F1 score with 6% relative increase on Covid-19 identification task where it achieves 0.7833(0.07) in Precision, 0.8609(0.03) in Recall, and 0.8168(0.03) F1 score.

연구 동기 및 목표

• 흉부 X선 영상에서 코로나19 검출 시 클래스 불균형 문제를 해결하기 위해.
• 정상, 세균성 폐렴, 비코로나19 바이러스성 폐렴 환자 중에서 코로나19 환자 식별 정확도를 향상시키기 위해.
• 다양한 CNN 모델을 조합하여 일반화 능력 향상을 위한 유연한 딥러닝 프레임워크를 개발하기 위해.
• 포커스 손실이 소수 클래스 샘플(코로나19)에 대한 검출 성능 향상에 기여하는지 평가하기 위해.
• 영상 데이터를 활용한 조기 코로나19 진단에서 임상 의사결정 지원을 위한 견고한 앙상블 기반 솔루션을 제공하기 위해.

제안 방법

• 이 방법은 두 개의 공개 데이터 소스에서 유래한 총 5,508장의 흉부 X선 영상으로 구성된 데이터셋을 구축하며, 정상, 세균성 폐렴, 비코로나19 바이러스성 폐렴, 코로나19의 네 가지 클래스를 포함한다.
• 예측을 통합하여 강건성과 일반화 능력을 향상시키기 위해 다수의 합성곱 신경망(CNN) 모델을 통합하는 신경망 앙상블 프레임워크를 적용한다.
• 클래스 불균형 문제를 완화하기 위해 학습 중 포커스 손실 함수를 적용하여, 특히 소수 클래스인 코로나19 클래스의 어려운 분류 샘플에 더 주목한다.
• 개별 CNN 모델들로부터의 특징과 예측을 가중 평균 전략을 사용해 동적으로 융합함으로써 성능을 향상시킨다.
• 엔드 투 엔드로 학습되며, 교차 엔트로피 손실에 포커스 손실을 적용하여 쉬운 음성 샘플의 영향을 줄이고 희귀 양성 샘플에 대한 학습을 향상시킨다.
• 최종 모델은 표준 지표인 정밀도, 재현율, F1 스코어를 사용하여 평가되며, 매크로 평균 F1 스코어를 주요 성능 지표로 삼는다.

실험 결과

연구 질문

• RQ1 클래스 불균형이 존재하는 상황에서 포커스 손실을 활용한 딥러닝 앙상블이 흉부 X선 영상에서 코로나19 검출 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 제안된 FLANNEL 프레임워크는 개별 CNN 모델과 표준 손실 함수 대비 코로나19 환자 식별 능력에서 어떻게 비교되는가?
• RQ3 표준 교차 엔트로피 손실 대비 포커스 손실이 소수 클래스인 코로나19 클래스의 F1 스코어 향상에 얼마나 기여하는가?
• RQ4 모델 앙상블이 다양한 종류의 폐렴과 건강한 대조군 간에 검출 성능과 강건성을 향상시키는가?
• RQ5 FLANNEL 프레임워크는 불균형한 클래스 분포를 가진 실제 임상 영상 데이터에 잘 일반화되는가?

주요 결과

• FLANNEL은 매크로-F1 스코어 0.8168을 기록하여 최고의 베이스라인 모델 대비 6% 상대적 향상을 보였다.
• 코로나19 클래스에 대해 정밀도 0.7833, 재현율 0.8609를 기록하여 정밀도와 민감도 사이의 균형이 잘 유지됨을 시사했다.
• 포커스 손실 구성 요소는 학습 중 쉬운 음성 샘플의 지배를 줄여 소수 클래스인 코로나19 클래스에서 성능 향상을 크게 개선하였다.
• 앙상블 아키텍처는 모든 평가 지표에서 모든 베이스라인 모델을 뛰어넘었으며, 강건성과 일반화 능력 향상을 입증하였다.
• 모든 네 클래스에서 안정적인 성능을 보였으며, 특히 재현율 향상이 두드러져 진정한 양성 코로나19 환자 식별 능력 향상이 확인되었다.
• 결과적으로, 포커스 손실과 모델 앙상블을 조합하는 것이 의료 영상에서 장꼬리형 클래스 분포를 다루는 데 효과적인 전략임을 시사한다.