[논문 리뷰] CheXphotogenic: Generalization of Deep Learning Models for Chest X-ray Interpretation to Photos of Chest X-rays

Pranav Rajpurkar, Anirudh Joshi외 4명|arXiv (Cornell University)|2020. 11. 12.

COVID-19 diagnosis using AI참고 문헌 13인용 수 6

한 줄 요약

이 연구는 체크포토 데이터셋을 사용하여 스마트폰 사진으로 찍힌 흉부 X선 영상에 적용된 여덟 개의 딥러닝 모델의 성능을 평가한다. 사진으로의 변환에 따라 매트릭스 상관관계(MCC) 평균 감소율이 0.036로 나타났지만, 몇몇 모델은 자격을 갖춘 방사선과의 성능과 유사하게 유지되어, 저자원 환경에서 모바일 영상 기반의 확장 가능한 적용 가능성을 보여준다.

ABSTRACT

The use of smartphones to take photographs of chest x-rays represents an appealing solution for scaled deployment of deep learning models for chest x-ray interpretation. However, the performance of chest x-ray algorithms on photos of chest x-rays has not been thoroughly investigated. In this study, we measured the diagnostic performance for 8 different chest x-ray models when applied to photos of chest x-rays. All models were developed by different groups and submitted to the CheXpert challenge, and re-applied to smartphone photos of x-rays in the CheXphoto dataset without further tuning. We found that several models had a drop in performance when applied to photos of chest x-rays, but even with this drop, some models still performed comparably to radiologists. Further investigation could be directed towards understanding how different model training procedures may affect model generalization to photos of chest x-rays.

연구 동기 및 목표

• 스마트폰 사진으로 찍힌 흉부 X선 영상에 적용된 딥러닝 모델의 일반화 성능을 평가하는 것.
• 여러 병변에 걸쳐 스마트폰 사진과 원본 디지털 X선 영상 간의 모델 성능을 비교하는 것.
• 스마트폰 사진으로 찍힌 X선 영상을 해석할 때 모델 성능이 자격을 갖춘 방사선과와 유사한지 평가하는 것.
• 스마트폰 사진에서의 이미지 아티팩트(예: 반사광, 흐림, 기울기 변화 등) 중에서 모델 성능에 가장 크게 영향을 주는 병변이나 아티팩트를 특정하는 것.

제안 방법

• 스마트폰 사진으로 찍힌 흉부 X선 영상의 체크포토 데이터셋에서, 여덟 개의 체크페트 챌린지 수상 모델(모든 모델이 밀도 연결 컨volution 네트워크를 사용하는 앙상블 모델)을 평가하였다.
• 재학습 없이 일관된 평가를 확보하기 위해 CodaLab 플랫폼을 사용해 체크포토 테스트 세트에서 모델을 재실행하였다.
• 이중 분류 성능을 측정하기 위해 매트릭스 상관관계(MCC)와 AUC를 사용하였으며, 병변 다섯 가지(쇄기, 심장비대, 병변, 부종, 흉막출액)에 대해 평가하였다.
• 스마트폰 사진에서의 모델 성능을 원본 디지털 X선 영상에서의 성능과 비교하고, 95% 신뢰구간을 사용한 짝지어진 MCC 차이를 통해 방사선과 성능과 비교하였다.
• 평가의 무결성을 확보하고 데이터 泄露를 방지하기 위해 체크페트 챌린지의 은닉 테스트 세트를 사용하였다.
• 병변 및 모델 별 성능 저하를 분석하여, 반사광, 흐림, 기울기 변화 등의 이미지 아티팩트에 대한 모델의 강건성 추세를 파악하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 스마트폰 사진으로 찍힌 흉부 X선 영상에 적용되었을 때 원본 디지털 영상과 비교해 성능이 어떻게 되는가?
• RQ2 스마트폰 사진에 적용되었을 때 성능 저하가 가장 심한 특정 병변은 무엇인가?
• RQ3 이러한 모델의 스마트폰 사진에서의 성능이 자격을 갖춘 방사선과의 성능과 유사하거나 이를 초월하는 정도는 어느 정도인가?
• RQ4 반사광, 흐림, 기울기 등의 특정 이미지 아티팩트가 모델 성능에 비례적으로 영향을 주는가?
• RQ5 다른 모델 아키텍처와 학습 절차는 사진 입력에 대한 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 모든 여덟 개의 모델이 스마트폰 사진에 적용되었을 때 유의미한 MCC 감소를 보였으며, 평균 감소율은 0.036(95% CI: 0.024–0.048)였다.
• 성능 저하가 가장 심한 병변은 흉막출액(7개 모델에서 방사선과보다 유의미하게 낮은 성능 기록)과 심장비대(5개 모델에서 성능 저하)였다.
• 비록 감소했지만, 여섯 개 모델 중 다섯 개는 평균적으로 방사선과와 유사한 성능을 보였으며, 세 개의 모델은 심장비대와 부종 등의 특정 병변에서 방사선과를 초월하는 성능을 기록하였다.
• 디지털 X선 영상에서 사진으로 전환할 경우 AUC 평균 감소율은 0.016(95% CI: 0.012–0.019)였다.
• 사진에서의 모델 MCC 평균은 0.560(95% CI: 0.528–0.587)였고, 원본 디지털 영상에서의 평균은 0.588(95% CI: 0.560–0.618)였다.
• 스마트폰 사진에서의 방사선과 성능은 0.568(95% CI: 0.542–0.597)였으며, 이는 모델 성능이 인간 해석과 비교해 여전히 유사함을 시사한다.