[논문 리뷰] MedKLIP: Medical Knowledge Enhanced Language-Image Pre-Training in Radiology

Chaoyi Wu, Xiaoman Zhang외 3명|arXiv (Cornell University)|2023. 01. 05.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

MedKLIP는 영상의학 분야의 지식 기반 시각어휘 미리 훈련 프레임워크를 제안하여 보고서에서 의료 삼중항을 추출하고 지식 기반 보완 기술을 통해 기술을 풍부화하며, 변환기 기반 융합 모델을 통해 이미지 패치와 정렬함으로써 0-샷 및 미세조정된 질병 분류 및 정위를 향상시킨다. 이는 RSNA Pneumonia에서 0.87의 포인팅 게임 점수와, 알려지지 않은 코로나19 정위에서 0.58의 점수를 기록하며 여러 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

In this paper, we consider enhancing medical visual-language pre-training (VLP) with domain-specific knowledge, by exploiting the paired image-text reports from the radiological daily practice. In particular, we make the following contributions: First, unlike existing works that directly process the raw reports, we adopt a novel triplet extraction module to extract the medical-related information, avoiding unnecessary complexity from language grammar and enhancing the supervision signals; Second, we propose a novel triplet encoding module with entity translation by querying a knowledge base, to exploit the rich domain knowledge in medical field, and implicitly build relationships between medical entities in the language embedding space; Third, we propose to use a Transformer-based fusion model for spatially aligning the entity description with visual signals at the image patch level, enabling the ability for medical diagnosis; Fourth, we conduct thorough experiments to validate the effectiveness of our architecture, and benchmark on numerous public benchmarks, e.g., ChestX-ray14, RSNA Pneumonia, SIIM-ACR Pneumothorax, COVIDx CXR-2, COVID Rural, and EdemaSeverity. In both zero-shot and fine-tuning settings, our model has demonstrated strong performance compared with the former methods on disease classification and grounding.

연구 동기 및 목표

• 기존 의료 시각어휘 미리 훈련 모델이 도메인 특화된 의료 지식을 忽시하고 원시적이고 비정형적인 보고서에 의존하는 한계를 해결하기 위해.
• 미리 훈련 과정에 세분화된 의료 지식을 통합하여 0-샷 및 소수의 샘플로도 질병 분류 및 시각 정위를 향상시키기 위해.
• 실체 수준의 감독을 통해 예측에 대한 공간적으로 정렬된 시각적 증거를 제공함으로써 모델의 해석 가능성 향상시키기 위해.
• 새로운 질병과 저자료 환경에 잘 일반화되는 강력한 지식 보강 표현 학습 프레임워크 개발하기 위해.

제안 방법

• 원시적인 영상의학 보고서를 (실체, 위치, 존재 여부)의 구조적 삼중항으로 분석하는 삼중항 추출 모듈을 도입하여 언어적 복잡성을 줄이고 임상의 의미를 유지한다.
• 의료 실체를 상세하고 표준화된 기술로 번역하기 위해 지식 기반을 검색하여 텍스트 임베딩에 도메인 특화 지식을 풍부하게 한다.
• 변환기 기반 융합 모듈이 이미지 영역과 실체 기술 간의 패치 수준 정렬을 수행하여 국소화 감독과 시각 정위를 가능하게 한다.
• 이미지 패치와 풍부화된 텍스트 임베딩 간의 대비 학습을 통해 MIMIC-CXR 데이터셋에서 모델을 미리 훈련한 후, 하류 작업에서 미세조정을 수행한다.
• 모델는 0-샷 및 미세조정 추론을 모두 지원하며, ChestX-ray14, RSNA Pneumonia, SIIM-ACR Pneumothorax 등 여러 공개 벤치마크에서 평가된다.

Figure 1 : Our method mainly considers combining medical knowledge with VLP. We propose Triplet Extraction and Entity Translation modules, so that the network can be supervised with detailed entity-level signals.

실험 결과

연구 질문

• RQ1 영상의학 보고서에서 구조화된 의료 삼중항을 추출하면 시각어휘 미리 훈련에서 감독 신호의 질이 향상되는가?
• RQ2 실체 번역을 통한 외부 의료 지식 통합이 알려지지 않은 질병에 대한 0-샷 일반화를 향상시키는가?
• RQ3 이미지 영역과 의료 실체 기술 간의 패치 수준 정렬이 시각 정위 정확도와 모델의 해석 가능성 향상에 기여하는가?
• RQ4 다양한 영상의학 작업에서 저자료 및 0-샷 설정에서 지식 보강 미리 훈련이 기존 VLP 방법보다 우수한가?

주요 결과

• RSNA Pneumonia 데이터셋에서 MedKLIP는 0-샷 정위에서 포인팅 게임 점수를 0.83에서 0.87로 향상시키고, 검출 정밀도를 0.50에서 0.64로 상승시켰다.
• 알려지지 않은 질병 검출(코로나19)의 경우, MedKLIP는 0.58의 포인팅 게임 점수를 기록하여 이전 최고 성능인 0.40보다 뚜렷한 향상을 이뤘다.
• 0-샷 분류에서 MedKLIP는 ChestX-ray14, SIIM-ACR Pneumothorax, COVIDx CXR-2를 포함한 모든 평가된 벤치마크에서 기존 방법을 압도했다.
• 미세조정을 통해 MedKLIP는 모든 분류 작업에서 최고 성능을 기록했으며, 특히 1% 및 10% 자료 환경에서 강력한 데이터 효율성을 보였다.
• 세분화된 작업에서 MedKLIP는 기존 최고 성능 방법을 크게 앞서며, 특히 곤경스러운 흉부기흉 및 투명도 국소화 작업에서 뛰어난 성능을 보였다.
• 새로운 평가 기준에서 MedKLIP는 모든 중증도 수준(0–3)에서 매크로 평균 AUC, F1 및 정확도 점수를 기록하여 세분화된 질병 평가에서 뛰어난 성능을 입증했다.

Figure 2 : The whole framework of our method. We first pre-process the report into triplets leveraging triplet extraction module. Then we encode the extracted triplets and it is worth emphasizing that we translate the entities into detailed descriptions during encoding, by querying the medical knowl