[논문 리뷰] RadBERT-CL: Factually-Aware Contrastive Learning For Radiology Report Classification

Ajay Jaiswal, Liyan Tang외 4명|PubMed|2021. 10. 28.

Radiology practices and education참고 문헌 31인용 수 12

한 줄 요약

RadBERT-CL는 사실 인지 능력을 갖춘 대조 학습 프레임워크를 도입하여, 부정 및 불확실성과 같은 중요한 의료적 뉘앙스를 보존하는 데 있어 새로운 데이터 증강 기법을 통해 영상의학 보고서 분류를 향상시킨다. 대조 손실을 사용하여 약한 레이블이 부여된 MIMIC-CXR 데이터로 사전 훈련한 RadBERT-CL은, 제한된 레이블된 데이터로 미세조정되었을 때 F1 점수에서 BERT와 CheXbert를 6–11% 뛰어넘는 최신 기술 성능을 달성한다.

ABSTRACT

Radiology reports are unstructured and contain the imaging findings and corresponding diagnoses transcribed by radiologists which include clinical facts and negated and/or uncertain statements. Extracting pathologic findings and diagnoses from radiology reports is important for quality control, population health, and monitoring of disease progress. Existing works, primarily rely either on rule-based systems or transformer-based pre-trained model fine-tuning, but could not take the factual and uncertain information into consideration, and therefore generate false positive outputs. In this work, we introduce three sedulous augmentation techniques which retain factual and critical information while generating augmentations for contrastive learning. We introduce RadBERT-CL, which fuses these information into BlueBert via a self-supervised contrastive loss. Our experiments on MIMIC-CXR show superior performance of RadBERT-CL on fine-tuning for multi-class, multi-label report classification. We illustrate that when few labeled data are available, RadBERT-CL outperforms conventional SOTA transformers (BERT/BlueBert) by significantly larger margins (6-11%). We also show that the representations learned by RadBERT-CL can capture critical medical information in the latent space.

연구 동기 및 목표

• 기존 모델이 영상의학 보고서의 사실적 뉘앙스, 예를 들어 부정 및 불확실성을 포착하는 데에 한계가 있음을 해결하기 위해.
• 적은 레이블된 예제가 있는 저자원 환경에서 영상의학 보고서 분류 성능을 향상시키기 위해.
• 임상적 사실을 유지하면서 효과적인 대조 학습을 가능하게 하는 데이터 증강 기법을 개발하기 위해.
• 대조 학습이 의료 텍스트에서 구분 가능한 사실 인지 표현을 학습할 수 있음을 입증하기 위해.

제안 방법

• 문장 및 문서 수준에서 사실적이고 불확실한 정보를 유지하는 세 가지 새로운 데이터 증강 기법을 제안하며, 이는 부정 및 불확실성 마커를 포함한다.
• 긍정적인 보고서 스니펫 간의 정렬과 부정적인 스니펫 간의 분離를 위해 자기지도 대조 손실을 사용하여 BlueBert를 미세조정한다.
• 증강 과정 중에 부정되거나 불확실한 문장을 탐지하고 유지하는 정보 보존 모듈을 통합한다.
• 전문가가 레이블링한 데이터에 의존하지 않고, 약한 레이블이 부여된 MIMIC-CXR 데이터를 사용하여 사전 훈련한다.
• 동일한 보고서의 증강된 시각 간의 일치를 최대화하고, 다른 보고서 간의 일치를 최소화하는 대조 학습 목표를 사용한다.
• 다중 클래스 및 다중 레이블 분류 작업에서 선형 평가 및 미세조정을 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 사실 보존 증강 기법을 사용한 대조 학습은 잠재 공간 내에서 영상의학 보고서의 표현을 향상시킬 수 있는가?
• RQ2 RadBERT-CL은 제한된 레이블된 데이터로 작동하는 저자원 환경에서 BERT 및 CheXbert와 같은 기존 최신 기술 모델을 능가하는가?
• RQ3 모델의 임bedding은 영상의학 보고서에서 존재 여부 대비 부재 여부 또는 확실성 대비 불확실성과 같은 미세한 사실적 차이를 구분할 수 있는가?
• RQ4 제안된 대조 사전 훈련 전략은 수동 레이블링이 필요 없이 의료 뉘앙스를 효과적으로 포착할 수 있는가?

주요 결과

• RadBERT-CL은 레이블된 보고서가 단 400개뿐인 경우에도 CheXbert를 F1 점수에서 6–11% 뛰어넘어, 저자원 환경에서 뛰어난 성능을 보여준다.
• MIMIC-CXR 데이터셋의 14개 발견 중 11개에서 최신 기술 성능을 달성하였으며, 다양한 평가 지표에서 일관된 향상을 보였다.
• 코사인 유사도 분석 결과, RadBERT-CL 임베딩은 '합병증 없음' 대비 '확실한 합병증'과 같은 사실적으로 다른 보고서 스니펫을 구분할 수 있었지만, BERT와 BlueBert는 이를 수행하지 못했다.
• 선형 평가 결과, 미세조정 없이도 RadBERT-CL이 BERT와 BlueBert보다 훨씬 더 우수한 표현을 학습하고 있음을 확인했다.
• 정보 보존 모듈은 증강 과정 중에 부정되거나 불확실한 문장을 성공적으로 유지하였으며, 이는 잠재 공간 내 사실 인지 능력 향상에 기여했다.
• 작은 서브셋보다 전체 MIMIC-CXR 데이터셋으로 사전 훈련을 수행할 경우 성능이 더 우수하여, 대규모 비지도 데이터의 이점이 뚜렷하게 드러났다.