[논문 리뷰] CheXbert: Combining Automatic Labelers and Expert Annotations for Accurate Radiology Report Labeling Using BERT

Akshay Smit, Saahil Jain외 4명|arXiv (Cornell University)|2020. 04. 20.

Radiomics and Machine Learning in Medical Imaging인용 수 74

한 줄 요약

CheXbert는 규칙 기반 라벨러의 출력과 백번역(backtranslation)으로 보강된 소수의 전문가 주석을 활용하여 생의학적으로 사전 학습된 BERT를 미세조정하고, MIMIC-CXR 테스트 데이터에서 방사선 보고서 라벨링의 최첨단 성능을 달성하며 방사선과 의사 수준의 성능에 근접한다.

ABSTRACT

The extraction of labels from radiology text reports enables large-scale training of medical imaging models. Existing approaches to report labeling typically rely either on sophisticated feature engineering based on medical domain knowledge or manual annotations by experts. In this work, we introduce a BERT-based approach to medical image report labeling that exploits both the scale of available rule-based systems and the quality of expert annotations. We demonstrate superior performance of a biomedically pretrained BERT model first trained on annotations of a rule-based labeler and then finetuned on a small set of expert annotations augmented with automated backtranslation. We find that our final model, CheXbert, is able to outperform the previous best rules-based labeler with statistical significance, setting a new SOTA for report labeling on one of the largest datasets of chest x-rays.

연구 동기 및 목표

• 대규모 의학 영상 모델 학습을 가능하게 하기 위한 확장 가능한 방사선 보고서 라벨링의 동기를 부여한다.
• 기존 규칙 기반 라벨러를 활용하여 생의학 언어 모델을 부트스트랩한다.
• 백번역으로 보강된 제한된 전문가 주석으로 라벨링 정확도를 향상시킨다.
• 규칙 기반 출력과 전문가 라벨의 결합이 이전 라벨러들보다 우수한 성능을 낳는다는 것을 입증한다.

제안 방법

• 14개의 관찰에 대해 14개의 태스크 특화 선형 헤드를 갖는 BERT-base 아키텍처를 사용한다.
• 규칙 기반 라벨러 출력으로 학습된 생의학 선행 학습 BERT 모델에서 초기화한 뒤 전문가 주석으로 미세조정한다.
• 표현 다양화를 위해 자동 백번역으로 소량의 전문가 주석 코퍼스를 보강한다.
• 14개의 관찰과 세 가지 검색 작업(positive, negative, uncertain)에 대해 가중 F1 점수로 평가한다.
• CheXpert 기준선과 방사선의사 벤치마크를 CheXpert 및 MIMIC-CXR 데이터셋에서 비교한다.

실험 결과

연구 질문

• RQ1 규칙 기반 라벨러 출력에서 초기화된 생의학 선행 BERT 모델이 순수 전문가 라벨 학습이나 순수 자동 라벨링을 능가할 수 있는가?
• RQ2 백번역 확장이 방사선 보고서의 라벨링 성능을 향상시키는가?
• RQ3 대형 흉부 X-레이 데이터셋에서 CheXbert가 방사선 의사 수준의 라벨링 성능에 얼마나 근접할 수 있는가?
• RQ4 이 작업에서 생의학 선행 학습 표상과 일반 선행 학습 표상을 사용할 때 상대적 성능 향상은 무엇인가?

주요 결과

• CheXbert (Tblue-hybrid-bt)는 F1 = 0.798 (95% CI 0.775, 0.816)을 달성하여 CheXpert (0.743)보다 우수하며 차이는 통계적으로 유의한다(p<0.001).
• CheXbert는 방사선의사 벤치마크(0.805, 0.784–0.823)보다 0.007 F1 포인트 낮다.
• 백번역 보강은 비강강화 변형보다 성능을 향상시킨다(예: T-blue-hybrid-bt 대 T-blue-rad).
• 질환별 분석에서 CheXbert는 Pneumonia(0.151), Fracture(0.120), Consolidation(0.105), Enlarged Cardiomediastinum(0.100), No Finding(0.097)에서 가장 큰 이득을 제공합니다.
• CheXbert는 대부분의 관찰에서 방사선의사 라벨만 학습한 모델이나 자동 라벨러 출력만으로 학습한 모델보다 우수하다.