[논문 리뷰] Effect of Radiology Report Labeler Quality on Deep Learning Models for Chest X-Ray Interpretation

Saahil Jain, Akshay Smit외 2명|arXiv (Cornell University)|2021. 04. 01.

COVID-19 diagnosis using AI인용 수 4

한 줄 요약

이 연구는 흉부 X-ray 해석을 위한 딥러닝 모델에 대한 영상의학 보고서 레이블러 품질의 영향을 평가하며, 보다 고급인 VisualCheXbert 레이블러를 사용할 경우 레이블 추출 정확도와 후속 이미지 분류 성능이 크게 향상됨을 보여준다. 주요 발견은 VisualCheXbert에서 유래한 레이블을 기반으로 훈련된 모델이 가중 평균 AUROC 0.87을 기록하며, CheXpert 및 CheXbert에서 유래한 레이블을 기반으로 훈련된 모델(각각 0.83 및 0.79)보다 뚜렷이 뛰어나다는 것이다.

ABSTRACT

Although deep learning models for chest X-ray interpretation are commonly trained on labels generated by automatic radiology report labelers, the impact of improvements in report labeling on the performance of chest X-ray classification models has not been systematically investigated. We first compare the CheXpert, CheXbert, and VisualCheXbert labelers on the task of extracting accurate chest X-ray image labels from radiology reports, reporting that the VisualCheXbert labeler outperforms the CheXpert and CheXbert labelers. Next, after training image classification models using labels generated from the different radiology report labelers on one of the largest datasets of chest X-rays, we show that an image classification model trained on labels from the VisualCheXbert labeler outperforms image classification models trained on labels from the CheXpert and CheXbert labelers. Our work suggests that recent improvements in radiology report labeling can translate to the development of higher performing chest X-ray classification models.

연구 동기 및 목표

• 영상의학 보고서 레이블러 품질 향상이 흉부 X-ray 분류를 위한 딥러닝 모델 성능에 미치는 영향을 조사하는 것.
• 세 가지 최신 기술 레이블러(CheXpert, CheXbert, VisualCheXbert)를 사용하여 영상의학 보고서에서 정확한 레이블을 추출하는 정확도를 비교하는 것.
• 고품질의 레이블이 고급 레이블러에서 유도될 경우, CheXpert 데이터셋에서 이미지 분류 모델의 성능 향상이 이루어지는지 평가하는 것.
• 불확실성 처리 전략(U-Zeros 및 U-Ones)이 레이블러 성능과 후속 모델 정확도에 미치는 영향을 평가하는 것.
• 보고서 레이블러 품질과 종단 간 흉부 X-ray 분류 시스템 성능 사이의 인과관계를 규명하는 것.

제안 방법

• 연구는 8개의 질환에 대해 전문가가 주석을付け한 224,316장의 흉부 X-ray 영상이 포함된 CheXpert 데이터셋을 사용한다.
• 영상의학 보고서에서 정확한 이미지 레이블을 추출할 수 있는 능력을 평가하기 위해 세 가지 영상의학 보고서 레이블러(CheXpert, CheXbert, VisualCheXbert)를 평가한다.
• CheXpert 및 CheXbert에서 유도된 불확실한 예측은 두 가지 전략으로 처리된다: 음성 클래스로 매핑(U-Zeros) 또는 양성 클래스로 매핑(U-Ones).
• 각 레이블러가 생성한 레이블을 기반으로 DenseNet-121 아키텍처를 사용하여 이미지 분류 모델을 훈련시키며, 훈련은 3대의 TITAN-XP GPU에서 수행된다.
• 모델 성능은 CheXpert 테스트 세트에서 AUROC 점수를 사용하여 평가되며, 95% 신뢰구간은 비모수적 백셔틀팅(1000회 반복)을 통해 계산된다.
• 성능 차이의 통계적 유의성은 레이블러 및 모델 성능을 조건 간 비교하기 위해 백셔틀팅 신뢰구간을 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 영상의학 보고서 레이블러의 품질이 흉부 X-ray의 추출된 이미지 레이블 정확도에 뚜렷한 영향을 미치는가?
• RQ2 불확실성 처리 전략(U-Zeros 대비 U-Ones)은 자동 레이블러 성능에 어떤 영향을 미치는가?
• RQ3 영상의학 보고서 레이블링 향상은 흉부 X-ray 분류를 위한 더 나은 성능의 딥러닝 모델로 이어질 수 있는가?
• RQ4 CheXpert, CheXbert, VisualCheXbert에서 유도된 레이블을 기반으로 훈련된 모델 간에 측정 가능한 성능 격차가 존재하는가?
• RQ5 더 고급 레이블러인 VisualCheXbert의 사용이 후속 이미지 분류 AUROC에서 통계적으로 유의미한 향상으로 이어지는가?

주요 결과

• VisualCheXbert 레이블러는 U-Zeros 조건에서 CheXpert(0.50) 및 CheXbert(0.50)보다 유의미하게 높은 가중 평균 F1 점수 0.73(95% CI: 0.71–0.75)를 기록하며, U-Ones 조건에서도 CheXpert(0.55) 및 CheXbert(0.55)를 압도한다.
• VisualCheXbert 레이블을 기반으로 훈련된 이미지 분류 모델은 가중 평균 AUROC 0.87(95% CI: 0.86–0.89)을 기록하며, CheXpert(0.83) 및 CheXbert(0.79) 기반 모델보다 통계적으로 뛰어나다.
• 'Enlarged Cardiom.'(n=253) 조건에서 VisualCheXbert는 U-Ones 조건에서 CheXbert의 F1 점수 0.23 대비 0.73을 기록하며 희귀 질환에 대한 강력한 내성성을 보였다.
• VisualCheXbert 레이블 기반 모델은 Atelectasis에 대해 AUROC 0.84를 기록하였으며, U-Zeros 조건에서 CheXpert의 0.70보다 높아져 미세하거나 복잡한 소견의 탐지 능력 향상을 보였다.
• 'Lung Opacity'(n=264) 조건에서 VisualCheXbert 기반 모델은 AUROC 0.91을 기록하며, CheXpert(0.90) 및 CheXbert(0.89)를 초월하여 고빈도 조건에서도 일관된 성능 향상을 보였다.
• 본 연구는 최근 영상의학 보고서 레이블링 기술의 발전이 흉부 X-ray 해석을 위한 딥러닝 모델 성능 향상에 직접적인 측정 가능한 영향을 미친다는 것을 확인한다.