[논문 리뷰] COVID-19 Pneumonia Severity Prediction using Hybrid Convolution-Attention Neural Architectures

Nam V. Nguyen, Chang Jm|arXiv (Cornell University)|2021. 07. 06.

COVID-19 diagnosis using AI참고 문헌 16인용 수 4

한 줄 요약

이 논문은 제한된 의료 영상 데이터에서 코로나19 폐렴 중증도 예측을 향상시키기 위해 데이터 중심 사전 훈련 프레임워크를 갖춘 하이브리드 컨볼루션-어텐션 신경망을 제안한다. 트랜스포머의 자기어텐션과 밀도 연관 메모리(호프필드 네트워크)를 활용하여 모델은 지리적 범위 예측에서 R² = 0.85 ± 0.05 및 ρ = 0.92 ± 0.02를 달성하며, 전이 학습 기반 모델보다 유의하게 뛰어난 성능을 보였다.

ABSTRACT

This study proposed a novel framework for COVID-19 severity prediction, which is a combination of data-centric and model-centric approaches. First, we propose a data-centric pre-training for extremely scare data scenarios of the investigating dataset. Second, we propose two hybrid convolution-attention neural architectures that leverage the self-attention from the Transformer and the Dense Associative Memory (Modern Hopfield networks). Our proposed approach achieves significant improvement from the conventional baseline approach. The best model from our proposed approach achieves $R^2 = 0.85 \pm 0.05$ and Pearson correlation coefficient $ρ= 0.92 \pm 0.02$ in geographic extend and $R^2 = 0.72 \pm 0.09, ρ= 0.85\pm 0.06$ in opacity prediction.

연구 동기 및 목표

• 매우 작은 데이터셋과 자원이 부족한 상황에서 깊이 학습 모델의 성능이 낮은 문제를 해결한다.
• 제한된 의료 영상 데이터를 위한 표현 학습을 향상시키기 위해 데이터 중심 사전 훈련 프레임워크를 개발한다.
• 자기어텐션 메커니즘을 통합하여 의료 영상의 전역적 맥락 정보를 포착할 수 있는 하이브리드 컨볼루션-어텐션 아키텍처를 설계한다.
• 새로운 신경망 아키텍처를 사용하여 코로나19 폐렴의 지리적 범위 및 투명도 중증도 지표에 대한 예측 성능을 향상시킨다.
• 데이터 중심 사전 훈련과 하이브리드 어텐션 메커니즘이 기존 ImageNet에서의 전이 학습보다 우수한 성능을 내는지 입증한다.

제안 방법

• 사전 처리된 데이터를 기반으로 특징 학습을 향상시키기 위해 합성 또는 증강된 데이터를 생성하는 데이터 중심 사전 훈련 프레임워크를 제안한다.
• 트랜스포머 아키텍처의 자기어텐션 모듈과 밀도 연관 메모리(현대적 호프필드 네트워크)를 컨볼루션 신경망 기반 모델에 통합한다.
• 컨볼루션 특징 추출과 어텐션 메커니즘을 통한 전역적 맥락 모델링을 결합한 하이브리드 아키텍처(HCT 및 HCH)를 사용한다.
• 모델을 두 단계로 훈련한다: 첫 번째 단계에서는 데이터 중심 프레임워크를 사용해 사전 훈련을 수행하고, 두 번째 단계에서는 중증도 예측 작업에 대해 미세조정한다.
• 모델 일반화 및 훈련 안정성을 평가하기 위해 방정정식 6에 의해 계산된 손실을 사용한 교차 검증을 실시한다.
• DenseNet121, ResNet50, EfficientNet-B4와 같은 기반 모델을 사용하며, 가중치는 데이터 중심 사전 훈련 단계에서 초기화한다.

실험 결과

연구 질문

• RQ1 데이터 중심 사전 훈련 프레임워크가 코로나19 중증도 예측에서 매우 낮은 데이터 환경에서 깊이 학습 모델의 성능을 유의미하게 향상시킬 수 있는가?
• RQ2 자기어텐션과 호프필드 네트워크를 통합한 하이브리드 컨볼루션-어텐션 아키텍처가 표준 CNN 및 전이 학습 기반 모델에 비해 폐렴 중증도 예측에서 어떻게 비교되는가?
• RQ3 어텐션 메커니즘을 통한 전역적 맥락 모델링의 통합이 코로나19 영상에서 지리적 범위 및 투명도 예측 정확도에 얼마나 기여하는가?
• RQ4 제안된 프레임워크는 특히 소규모 데이터셋에서 다양한 기반 아키텍처에 걸쳐 일관된 향상을 가져오는가?
• RQ5 교차 검증 손실과 상관계수 지표로 측정했을 때, 데이터 중심 사전 훈련이 모델 수렴과 일반화에 어떤 영향을 미치는가?

주요 결과

• 제안된 데이터 중심 사전 훈련 프레임워크는 ImageNet 전이 학습 대비 모델 성능을 유의미하게 향상시켰으며, 모든 기반 모델에서 R²와 피어슨 상관계수 모두 뚜렷한 증가를 보였다.
• 가장 뛰어난 성능을 보인 HCT-DenseNet121 모델은 지리적 범위 예측에서 R² = 0.85 ± 0.05 및 ρ = 0.92 ± 0.02를 달성하여 높은 예측 정확도를 입증했다.
• 투명도 예측 성능도 크게 향상되어 R² = 0.72 ± 0.09 및 ρ = 0.85 ± 0.06를 기록하여 실제 값과 예측 값 간의 강한 일치를 보였다.
• 하이브리드 아키텍처는 단일 CNN 대비 평균적으로 평균 제곱 오차(MSE)를 약 0.2점 감소시키고, 평균 절대 오차(MAE)를 1.5점 감소시켰다.
• 하이브리드 모델의 교차 검증 손실은 단일 CNN보다 일관되게 낮아, 더 나은 일반화 능력과 훈련 안정성을 나타냈다.
• DenseNet121에서 성능 향상이 가장 두드러졌으며, 하이브리드 어텐션 통합 후 지리적 범위 예측에서 R²가 0.74에서 0.82로 증가했다.