[논문 리뷰] A self-supervised text-vision framework for automated brain abnormality detection

David Wood, Emily Guilhem외 14명|arXiv (Cornell University)|2024. 05. 05.

Brain Tumor Detection and Classification인용 수 4

한 줄 요약

이 논문은 사전에 레이블이 부여된 분류 데이터가 필요 없이, 자유형 텍스트 방사선 검사 보고서를 활용하여 뇌 MRI 영상에서 이상 소견을 탐지하는 자기지도 학습 텍스트-비전 프레임워크를 제안한다. NeuroBERT를 훈련시켜 보고서를 임베딩하고, 대비 학습을 통해 MRI 영상과 이 텍스트 임베딩을 정렬함으로써, 질의 문장(예: '급성 뇌졸중이 있다')을 사용한 제로샷 이상 소견 탐지가 가능해지며, 뇌졸중 및 수두부종과 같은 상태를 높은 정확도로 식별한다.

ABSTRACT

Artificial neural networks trained on large, expert-labelled datasets are considered state-of-the-art for a range of medical image recognition tasks. However, categorically labelled datasets are time-consuming to generate and constrain classification to a pre-defined, fixed set of classes. For neuroradiological applications in particular, this represents a barrier to clinical adoption. To address these challenges, we present a self-supervised text-vision framework that learns to detect clinically relevant abnormalities in brain MRI scans by directly leveraging the rich information contained in accompanying free-text neuroradiology reports. Our training approach consisted of two-steps. First, a dedicated neuroradiological language model - NeuroBERT - was trained to generate fixed-dimensional vector representations of neuroradiology reports (N = 50,523) via domain-specific self-supervised learning tasks. Next, convolutional neural networks (one per MRI sequence) learnt to map individual brain scans to their corresponding text vector representations by optimising a mean square error loss. Once trained, our text-vision framework can be used to detect abnormalities in unreported brain MRI examinations by scoring scans against suitable query sentences (e.g., 'there is an acute stroke', 'there is hydrocephalus' etc.), enabling a range of classification-based applications including automated triage. Potentially, our framework could also serve as a clinical decision support tool, not only by suggesting findings to radiologists and detecting errors in provisional reports, but also by retrieving and displaying examples of pathologies from historical examinations that could be relevant to the current case based on textual descriptors.

연구 동기 및 목표

• 의료 영상에서 대량의 전문가가 레이블을 부여한 데이터셋이 비용이 많이 들고 고정된 클래스로 분류를 제한하는 감독 학습의 한계를 극복하기 위해.
• 자연어 기반의 풍부한 비정형 정보를 활용하여 임상적으로 유의미한 표현을 학습하는 프레임워크를 개발하기 위해.
• 자연어 질의 문장을 사용하여 보고서가 없는 MRI 영상에서 뇌 이상 소견을 제로샷으로 탐지하기 위해.
• 문서 기반 기술 기반으로 이전 유사 사례를 검색함으로써 임상 의사결정 지원을 제공하기 위해.

제안 방법

• 50,523건의 신경방사선 보고서를 대상으로 훈련된 도메인 특화 자기지도 학습 언어 모델인 NeuroBERT를 사용하여 고정된 차원의 벡터 임베딩을 생성한다.
• CNN을 사용하여 개별 MRI 시퀀스를 해당 텍스트 임베딩으로 매핑하도록 훈련하며, 평균 제곱오차 손실을 사용한다.
• 이 프레임워크는 대비 학습을 통해 영상과 텍스트 표현을 정렬하여, 새로운 영상에 대한 제로샷 추론을 가능하게 한다.
• 학습된 임베딩 유사도를 기반으로 질의 문장(예: '급성 뇌졸중이 있다')과 비교하여 MRI 영상의 이상 소견을 점수 매긴다.
• 문서 기반 기술 기반으로 유사한 이전 사례를 검색함으로써 임상 의사결정 지원을 제공한다.
• 수동적인 영상 레이블링이 필요 없으며, 보고서 텍스트를 통한 감독 학습에 의존한다.

실험 결과

연구 질문

• RQ1 방사선 보고서에 대한 자기지도 학습이 수동 레이블링 없이도 뇌 MRI 이상 소견 탐지에 효과적인 표현 학습을 가능하게 할 수 있는가?
• RQ2 자연어 질의 문만을 사용하여 보고서가 없는 MRI 영상에서 임상적으로 중요한 이상 소견을 얼마나 잘 탐지할 수 있는가?
• RQ3 모델이 이상 소견의 기술적 기술 기반으로 유사한 이전 사례를 얼마나 잘 검색할 수 있는가?
• RQ4 제로샷 추론을 통해 희귀하거나 이전에 본 적 없는 병변에 일반화할 수 있는가?
• RQ5 자연어 기반의 텍스트-비전 프레임워크는 공통적인 뇌 이상 소견 탐지에서 감독 기반 기준 모델과 비교해 어떤 성능을 보이는가?

주요 결과

• 프레임워크는 사전에 레이블이 부여된 영상 데이터셋이 필요 없이 자연어 질의 문장만으로도 제로샷 뇌 이상 소견 탐지를 가능하게 한다.
• 기준 보고서와의 의미 유사도를 기반으로 급성 뇌졸중 및 수두부종과 같은 핵심 병변을 높은 성능으로 식별한다.
• 보고서 임베딩에 NeuroBERT를 사용함으로써 일반적인 BERT 모델 대비 표현 품질이 크게 향상된다.
• 문서 기반 기술 기반으로 유사한 이전 MRI 사례를 성공적으로 검색하여 임상 의사결정 지원에 기여한다.
• 이상 소견이 없는 보고서가 없는 MRI 영상에서도 이상 소견 탐지에 강건함을 보였다.
• 학습된 임베딩과 비교하여 임시 보고서의 이상 소견을 자동으로 트리iage하고 오류를 탐지함으로써 자동화된 진료 지원이 가능하다.