[논문 리뷰] UncertaintyFuseNet: Robust Uncertainty-aware Hierarchical Feature Fusion with Ensemble Monte Carlo Dropout for COVID-19 Detection

Moloud Abdar, Soorena Salari외 7명|arXiv (Cornell University)|2021. 05. 18.

COVID-19 diagnosis using AI참고 문헌 60인용 수 27

한 줄 요약

이 논문은 Ensemble Monte Carlo 드롭아웃을 사용하여 모델의 불확실성을 정량화하고 관리함으로써 흉부 CT와 X-ray 영상을 융합하여 코로나19 감지에 사용하는 강건한 딥러닝 모델인 UncertaintyFuseNet을 제안한다. 이 방법은 새로운 데이터에 대해 뛰어난 일반화 능력과 노이즈에 대한 강건성을 보이며, 단일 모odal 접근 방식을 능가한다.

ABSTRACT

The COVID-19 (Coronavirus disease 2019) has infected more than 151 million people and caused approximately 3.17 million deaths around the world up to the present. The rapid spread of COVID-19 is continuing to threaten human's life and health. Therefore, the development of computer-aided detection (CAD) systems based on machine and deep learning methods which are able to accurately differentiate COVID-19 from other diseases using chest computed tomography (CT) and X-Ray datasets is essential and of immediate priority. Different from most of the previous studies which used either one of CT or X-ray images, we employed both data types with sufficient samples in implementation. On the other hand, due to the extreme sensitivity of this pervasive virus, model uncertainty should be considered, while most previous studies have overlooked it. Therefore, we propose a novel powerful fusion model named $UncertaintyFuseNet$ that consists of an uncertainty module: Ensemble Monte Carlo (EMC) dropout. The obtained results prove the effectiveness of our proposed fusion for COVID-19 detection using CT scan and X-Ray datasets. Also, our proposed $UncertaintyFuseNet$ model is significantly robust to noise and performs well with the previously unseen data. The source codes and models of this study are available at: this https URL.

연구 동기 및 목표

• 임상 의사결정 지원을 위해 의료 영상 기반의 정확하고 자동화된 코로나19 감지의 긴급한 필요를 해결하기 위해.
• 이전 연구들이 CT 또는 X-ray 중 하나의 영상 모달리티에만 의존하는 한계를 극복하기 위해, 두 영상 유형을 융합하여 진단 성능을 향상시키기 위해.
• 고위험 의료 응용 분야에서 이 critical aspect를 忽시하는 대부분의 기존 방법들과는 달리, 감지 파이프라인에 모델 불확실성을 통합하기 위해.
• 특히 실제 세계의 데이터 변동성과 분포 이탈 상황에서 잘 일반화할 수 있는 강건하고 노이즈 내성 모델을 개발하기 위해.
• 재현 가능성과 패닉 대응을 위한 의료 AI 분야의 향후 연구를 지원하기 위해 공개된 구현을 제공하기 위해.

제안 방법

• 다중 수준에서 별도의 CT 및 X-ray 브랜치 네트워크로부터 추출된 특징을 융합하는 계층적 특징 융합 아키텍처를 사용하여 표현 학습을 향상시키기 위해.
• 추론 중 드롭아웃이 활성화된 상태에서 다수의 순방향 전파를 수행함으로써 모델 불확실성을 추정하기 위해 Ensemble Monte Carlo (EMC) 드롭아웃 모듈을 통합하기 위해.
• 예측 분산을 추정하기 위해 다수의 순방향 전파에 걸쳐 몬테카를로 샘플링을 수행함으로써 각 예측에 대한 불확실성 정량화를 가능하게 하기 위해.
• EMC 드롭아웃을 정규화 및 불확실성 추정 모두에 활용하면서, 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련하기 위해.
• 유의미한 정보와 모달리티 특화된 특징을 우선시하기 위해, CT 및 X-ray 브랜치의 특징을 학습 가능한 어텐션 또는 연결 메커니즘을 사용하여 융합하기 위해.
• 저자료 또는 노이즈가 많은 상황에서의 강건성과 신뢰성을 향상시키기 위해 불확실성 인식 훈련 및 추론을 적용하기 위해.

실험 결과

연구 질문

• RQ1 CT와 X-ray 영상의 공동 모델링이 단일 모달리티 접근 방식과 비교해 코로나19 감지의 정확도와 강건성을 향상시키는가?
• RQ2 Ensemble Monte Carlo 드롭아웃이 코로나19와 같이 매우 전염성이 높은 질환에 대해 의료 영상 환경에서 불확실성을 효과적으로 정량화하는가?
• RQ3 불확실성 추정 통합이 분포 이탈 또는 노이즈가 있는 테스트 샘플에서 모델의 일반화 능력을 향상시키는가?
• RQ4 제안된 융합 아키텍처가 실제 운영 환경에서 예측 분산을 얼마나 줄이고 신뢰성을 향상시키는가?
• RQ5 제안된 방법이 이전에 본 적 없는 데이터에서 높은 성능을 유지할 수 있는가, 이는 강력한 일반화 능력을 시사하는가?

주요 결과

• 제안된 UncertaintyFuseNet 모델은 CT 및 X-ray 영상 모달리티의 특징을 효과적으로 융합함으로써 코로나19 감지에서 뛰어난 성능을 달성한다.
• Ensemble Monte Carlo 드롭아웃의 통합은 신뢰할 수 있는 불확실성 정량화를 가능하게 하여 고위험 진단 환경에서 예측의 신뢰성을 높인다.
• 모델은 노이즈에 매우 강건하며, 이전에 본 적 없는 데이터에서 잘 작동함으로써 강력한 일반화 능력을 보여준다.
• 다중 모달리티 데이터(CT 및 X-ray)의 융합은 단일 모달리티로 훈련된 모델보다 향상된 진단 정확도를 이끌어낸다.
• 소스 코드와 훈련된 모델은 공개되어 있어 재현성과 감염병 감지 분야의 의료 AI 연구를 위한 향후 연구를 촉진한다.