[논문 리뷰] VisualCheXbert: Addressing the Discrepancy Between Radiology Report Labels and Image Labels

Saahil Jain, Akshay Smit외 8명|arXiv (Cornell University)|2021. 02. 23.

COVID-19 diagnosis using AI참고 문헌 22인용 수 5

한 줄 요약

이 논문은 흉부 X선 영상에 대한 방사선의사의 해석과의 일치도를 높이기 위해 생물의학적으로 미세조정된 BERT 모델을 사용하여 방사선 보고서를 직접 영상 기반 레이블로 매핑하는 VisualCheXbert를 제안한다. 이는 보고서 레이블링에 있어 방사선의사보다 F1 스코어가 0.12–0.21 높고, CheXpert 보고서 레이블러보다 0.14 높으며, 보고서 유래 레이블과 영상 유래 레이블 간의 괴리감을 줄인다.

ABSTRACT

Automatic extraction of medical conditions from free-text radiology reports is critical for supervising computer vision models to interpret medical images. In this work, we show that radiologists labeling reports significantly disagree with radiologists labeling corresponding chest X-ray images, which reduces the quality of report labels as proxies for image labels. We develop and evaluate methods to produce labels from radiology reports that have better agreement with radiologists labeling images. Our best performing method, called VisualCheXbert, uses a biomedically-pretrained BERT model to directly map from a radiology report to the image labels, with a supervisory signal determined by a computer vision model trained to detect medical conditions from chest X-ray images. We find that VisualCheXbert outperforms an approach using an existing radiology report labeler by an average F1 score of 0.14 (95% CI 0.12, 0.17). We also find that VisualCheXbert better agrees with radiologists labeling chest X-ray images than do radiologists labeling the corresponding radiology reports by an average F1 score across several medical conditions of between 0.12 (95% CI 0.09, 0.15) and 0.21 (95% CI 0.18, 0.24).

연구 동기 및 목표

• 방사선의사가 방사선 보고서를 레이블링할 때와 해당 흉부 X선 영상에 대해 레이블링할 때의 괴리감을 조사하는 것.
• 보고서 기반 및 영상 기반 레이블링 간의 불일치 원인을 규명하는 것, 특히 레이블 계층, 임상 이력 접근성, 보고서 섹션 사용 방식 등을 포함한다.
• 방사선 보고서를 직접 영상 레이블로 매핑할 수 있는 방법을 개발하여 방사선의사가 레이블링한 영상 레이블과의 일치도를 높이는 것.
• 보고서 기반 레이블에서 발생하는 노이즈를 줄여 의료 영상 모델 훈련을 위한 약한 감독의 질을 향상시키는 것.

제안 방법

• VisualCheXbert는 방사선 보고서 텍스트를 직접 영상 기반 레이블로 매핑하기 위해 생물의학적으로 사전 훈련된 BERT 모델을 사용한다.
• 모델은 흉부 X선 영상에서 14개의 의료 상태를 탐지하도록 사전 훈련된 컴퓨터 비전 모델의 감독 신호를 통해 훈련된다.
• 훈련 목표는 모델의 예측 레이블과 CV 모델의 예측 간의 차이를 최소화하여 보고서 해석을 영상 기반 진단과 일치시킨다.
• 모델은 임상적으로 관련성이 높은 요약문인 인상(Imprssion) 섹션을 입력으로 사용한다.
• 모델 성능은 CheXpert 테스트 세트에서 방사선의사가 레이블링한 영상 레이블 대비 F1 스코어를 사용해 평가된다.
• 이 방법은 인간 방사선의사가 보고서를 레이블링하는 것과 기존의 CheXpert 룰 기반 레이블러 모두를 뛰어넘는 성능을 보였다.

Figure 1. The VisualCheXbert training procedure. VisualCheXbert uses a biomedically-pretrained BERT model to directly map from a radiology report to the labels obtained by a radiologist interpreting the associated X-ray image. The training procedure for VisualCheXbert is supervised by a computer vis

실험 결과

연구 질문

• RQ1 방사선의사가 보고서를 레이블링할 때와 해당 흉부 X선 영상에 대해 레이블링할 때 얼마나 일치하는가?
• RQ2 방사선의사가 보고서 기반 및 영상 기반 레이블링에서 불일치를 겪는 주요 원인은 무엇인가?
• RQ3 보고서에서 레이블링된 질환과 영상에 존재하는 질환 간에 통계적으로 유의미한 상관관계가 있는가?
• RQ4 딥 러닝 모델을 통해 보고서를 직접 영상 기반 레이블로 매핑할 수 있으며, 인간의 보고서 레이블링보다 더 높은 일치도를 달성할 수 있는가?

주요 결과

• 보고서를 레이블링하는 방사선의사와 영상에 대해 레이블링하는 방사선의사 간의 일치도는 낮으며, 조건별로 평균 캄파 스코어는 0.312에서 0.430 사이로 변동한다.
• VisualCheXbert는 보고서를 레이블링하는 방사선의사보다 평균 F1 스코어가 0.12–0.21 높으며, 95% 신뢰구간은 각각 (0.09, 0.15) 및 (0.18, 0.24)이다.
• 동일한 평가 세트에서 VisualCheXbert는 CheXpert 룰 기반 레이블러 대비 F1 스코어를 0.14 향상시켰으며, 95% 신뢰구간은 (0.12, 0.17)이다.
• 자식 조건에 대한 보고서 레이블은 영상에서 부모 조건의 존재 확률을 유의미하게 증가시키며, 이는 계층적 레이블 관계가 임상적으로 의미가 있음을 시사한다.
• 일부 불확실한 보고서 레이블도 영상 질환의 존재 확률을 증가시키며, 모호한 보고서 언어에 임상적으로 유의미한 진단 신호가 존재함을 시사한다.
• 부정적인 아테레일라시스 보고서 레이블은 영상에서의 지원 장치(Support Devices) 존재 확률을 0.28배 감소시키며, 이는 상호 보완적 또는 혼동 요인 관계가 존재할 수 있음을 시사한다.

Figure 2. Odds ratios for radiologist report labels as factors for the presence of a condition in the X-ray image. We map the radiologist report labels across all conditions to the image ground truth using a logistic regression model. We obtain odds ratios for the input variables, which are the one-