[논문 리뷰] PneumoXttention: A CNN compensating for Human Fallibility when Detecting Pneumonia through CXR images with Attention

Sanskriti Singh|arXiv (Cornell University)|2020. 08. 11.

COVID-19 diagnosis using AI참고 문헌 10인용 수 2

한 줄 요약

PneumoXttention는 전방 시야 흉부X선 영상에서 폐렴 검출을 향상시키기 위해 새로운 주의 메커니즘을 갖춘 13층 컨볼루션 신경망 앙상블이다. RSNA 데이터셋으로 훈련된 이 모델은 25장의 테스트 세트에서 F1 스코어 0.90을 기록하여 표준 CNN(성능: F1: 0.70)을 능가했으며, 인간 영상의학자가 함께 진료할 경우 100% 정확도에 도달했다.

ABSTRACT

Automatic Chest Radiograph X-ray (CXR) interpretation by machines is an important research topic of Artificial Intelligence. As part of my journey through the California Science Fair, I have developed an algorithm that can detect pneumonia from a CXR image to compensate for human fallibility. My algorithm, PneumoXttention, is an ensemble of two 13 layer convolutional neural network trained on the RSNA dataset, a dataset provided by the Radiological Society of North America, containing 26,684 frontal X-ray images split into the categories of pneumonia and no pneumonia. The dataset was annotated by many professional radiologists in North America. It achieved an impressive F1 score, 0.82, on the test set (20% random split of RSNA dataset) and completely compensated Human Radiologists on a random set of 25 test images drawn from RSNA and NIH. I don't have a direct comparison but Stanford's Chexnet has a F1 score of 0.435 on the NIH dataset for category Pneumonia.

연구 동기 및 목표

• 전방 시야 흉부X선 영상에서 폐렴을 진단할 때 인간 영상의학자의 오류, 특히 지상부나 심장 뒤쪽과 같은 도전적인 영역에서의 오진을 해결하기 위해.
• 미세하거나 가림을 입은 병변을 집중적으로 분석함으로써 인간의 실수를 보완할 수 있는 딥러닝 모델을 개발하기 위해.
• 전문 영상의학자가 부족한 저자원 환경에서 진단 정확도를 향상시키기 위해.
• 영상의학자가 오진을 줄이고 생명을 구하기 위해 신뢰할 수 있는 제2의 의견 도구를 제공하기 위해.

제안 방법

• 모델는 RSNA 데이터셋의 26,684장의 전방 시야 흉부X선 영상으로 훈련된 두 개의 13층 컨볼루션 신경망(CNN) 앙상블을 사용한다.
• 특히 지상부와 심장 윤곽선 주변과 같이 인간의 주의를 놓치기 쉬운 영역에서의 관심 영역을 강조하기 위해 고유한 주의 메커니즘이 통합되어 있다.
• 이진 분류 작업인 폐렴(1) 대 비폐렴(0)에 대해 이진 교차 엔트로피 손실을 사용하여 훈련한다.
• 모델는 RSNA 데이터셋의 20% 랜덤 테스트 분할과 RSNA 및 NIH 데이터셋에서 추가로 확보한 25장의 별도 테스트 세트에서 평가된다.
• 동일한 테스트 세트에서 주의 기능이 없는 표준 CNN과 인간 영상의학자와의 성능을 비교한다.
• 최종 모델는 25장의 블라인드 테스트 세트에서 영상의학자 읽기 결과와 직접 비교를 통해 검증된다.

실험 결과

연구 질문

• RQ1 주의 메커니즘을 갖춘 CNN이 전방 시야 흉부X선 영상에서 폐렴을 진단하는 데 표준 CNN보다 뛰어난 성능을 보일 수 있는가?
• RQ2 주의 메커니즘이 인간 영상의학자가 일반적으로 발견을 놓치는 해부학적 영역에서 진단 성능을 향상시키는가?
• RQ3 모델의 예측이 인간 영상의학자와 조합될 경우, 개별적으로 각각 수행할 때보다 더 높은 진단 정확도를 달성할 수 있는가?
• RQ4 특히 도전적인 케이스에서 인공지능 모델이 오진을 얼마나 줄일 수 있는가?
• RQ5 NIH 데이터셋에서 최신 기술 모델인 CheXNet과 비교해 본다면, 이 모델의 성능는 어떠한가?

주요 결과

• PneumoXttention는 25장의 테스트 세트에서 F1 스코어 0.90을 기록하여 주의 기능이 없는 표준 CNN(F1: 0.70)보다 유의미하게 뛰어났다.
• 인간 영상의학자와 함께 진료할 경우, 동일한 25장의 테스트 세트에서 모델과 영상의학자가 100% 정확도를 달성했다.
• 모델는 테스트 세트에서 92%의 정확도를 기록했으며, 표표 4에 따르면 인간 영상의학자의 72% 정확도를 초월했다.
• 주의 메커니즘이 지상부나 심장 뒤쪽과 같이 영상의학자가 자주 놓치는 영역에서 폐렴을 정확히 국소화하는 데 기여했다.
• RSNA 데이터셋 테스트 분할(20%)에서의 성능은 F1 스코어 0.82를 기록하여 강력한 일반화 능력을 보였다.
• 결과적으로 이 모델는 전문 영상의학자가 부족한 환경에서 신뢰할 수 있는 제2의 의견 도구로 활용될 수 있음을 시사한다.