[논문 리뷰] Covid-19 Detection from Chest X-ray and Patient Metadata using Graph Convolutional Neural Networks

Thosini Bamunu Mudiyanselage, Nipuna Senanayake외 3명|arXiv (Cornell University)|2021. 05. 20.

COVID-19 diagnosis using AI참고 문헌 16인용 수 4

한 줄 요약

이 논문은 흉부 X선(CXR) 영상과 환자 메타데이터를 통합하여 코로나19를 탐지하는 그래프 컬러지널 신경망(GCN)을 제안한다. 이는 ResNet-50와 같은 전이 학습 모델을 능가하며, 이분류에서 94%의 정확도와 삼분류에서 86%의 정확도를 달성한다. 유사도 기반 그래프를 통해 데이터 인스턴스 간의 관계를 모델링하고, 컨볼루션 신경망(CNN) 인코더를 통해 특징을 추출함으로써, 일반화 능력이 뛰어나고 가짜 양성 결과가 감소한 성능을 보인다.

ABSTRACT

The novel corona virus (Covid-19) has introduced significant challenges due to its rapid spreading nature through respiratory transmission. As a result, there is a huge demand for Artificial Intelligence (AI) based quick disease diagnosis methods as an alternative to high demand tests such as Polymerase Chain Reaction (PCR). Chest X-ray (CXR) Image analysis is such cost-effective radiography technique due to resource availability and quick screening. But, a sufficient and systematic data collection that is required by complex deep leaning (DL) models is more difficult and hence there are recent efforts that utilize transfer learning to address this issue. Still these transfer learnt models suffer from lack of generalization and increased bias to the training dataset resulting poor performance for unseen data. Limited correlation of the transferred features from the pre-trained model to a specific medical imaging domain like X-ray and overfitting on fewer data can be reasons for this circumstance. In this work, we propose a novel Graph Convolution Neural Network (GCN) that is capable of identifying bio-markers of Covid-19 pneumonia from CXR images and meta information about patients. The proposed method exploits important relational knowledge between data instances and their features using graph representation and applies convolution to learn the graph data which is not possible with conventional convolution on Euclidean domain. The results of extensive experiments of proposed model on binary (Covid vs normal) and three class (Covid, normal, other pneumonia) classification problems outperform different benchmark transfer learnt models, hence overcoming the aforementioned drawbacks.

연구 동기 및 목표

• 의료 영상에서 제한된 도메인 특화 데이터로 인해 일반화 능력이 떨어지고 편향이 높은 전이 학습 모델의 한계를 해결하기 위해.
• 관계 기반 그래프 구조를 통해 영상 특징과 환자 메타데이터를 통합하여 CXR 영상에서의 코로나19 탐지 성능을 향상시키기 위해.
• 작은, 불균형한 의료 데이터셋에서 기존 전이 학습 접근 방식보다 더 나은 일반화 성능을 보이는 모델을 개발하기 위해.
• 다중 클래스 분류 설정에서 코로나19, 정상, 기타 폐렴 유형 간의 정확한 구분을 가능하게 하기 위해.
• 그래프 기반의 관계 학습과 주의 기반 특징 추출을 통해 진단에서의 가짜 양성 결과를 줄이기 위해.

제안 방법

• CXR 영상에서 깊은 특징을 추출하기 위해 CNN 인코더(예: VGG16 유사 아키텍처)를 사용하며, 이 특징들은 인스턴스 유사도 기반으로 그래프 구조에 통합된다.
• 노드는 데이터 샘플(CXR 영상과 메타데이터 포함)을 나타내며, 간선은 특징 벡터 간 코사인 유사도에 의해 가중치가 부여된다.
• 그래프 컬러지널 네트워크(GCN)는 평균 집계를 사용하여 메시지 전파 연산을 수행하고, 그래프 전역에서 노드 표현을 갱신한다.
• 최종 그래프 임bedded 특징에 대해 소프트맥스 레이어를 적용하여 정상, 코로나19, 세균성, 바이러스성, 곰팡이성 폐렴으로의 다중 클래스 분류를 수행한다.
• 모델이 임상적으로 관련 있는 병변에 집중하고 있음을 검증하기 위해 시각화를 위한 색소맵(saliency maps)을 생성한다.
• 실제 CXR 데이터셋에서 5겹 교차 검증을 수행하며, 교차 엔트로피 손실을 사용해 엔드 투 엔드로 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 GCN 기반 모델은 ResNet-50와 같은 전통적인 전이 학습 모델보다 CXR 영상에서 코로나19를 분류하는 데에서 더 뛰어난 성능을 보일 수 있는가?
• RQ2 샘플 간의 환자 메타데이터와 관계 지식을 통합함으로써 모델의 일반화 능력 향상과 과적합 감소가 가능한가?
• RQ3 그래프 집계 함수의 선택(평균, 합, 최대)이 의료 그래프 데이터에서 성능에 어떤 영향을 미치는가?
• RQ4 다중 클래스 설정에서 모델은 코로나19와 기타 폐렴 유형을 효과적으로 구분할 수 있는가?
• RQ5 CNN 인코더의 주의 분포가 CXR 영상의 레지오나이저 병변과 얼마나 관련이 있는가?

주요 결과

• 제안된 GCN는 이분류(코로나19 대비 정상)에서 ResNet-50, InceptionV3, VGG16를 능가하는 94%의 정확도를 달성했다.
• 삼분류 분류(코로나19, 정상, 기타 폐렴)에서 GCN는 86%의 정확도를 기록하여 복잡한 진단 과제에서 뛰어난 성능을 보였다.
• GCN에서 평균 집계 함수가 밀도가 높은 그래프에서 합 또는 최대 풀링보다 더 우수한 일반화 성능을 보였다.
• 혼동 행렬 분석 결과, GCN는 ResNet-50에 비해 특히 바이러스성, 세균성, 곰팡이성 폐렴이 코로나19로 잘못 분류되는 가짜 양성 결과가 현저히 줄어들었다.
• 색소맵 분석을 통해 GCN의 CNN 인코더가 VGG16 및 InceptionV3와 달리 임상적으로 관련 있는 병변에 집중하고 있음을 확인했다.
• 모든 클래스에서 진짜 양성 사례를 더 잘 식별하는 데서 GCN 모델이 뛰어난 성능을 보였으며, 특히 코로나19와 세균성 폐렴을 탐지하는 데서 중요한 역할을 했다.