[논문 리뷰] Knowledge-enhanced Visual-Language Pre-training on Chest Radiology Images

Xiaoman Zhang, Chaoyi Wu외 3명|arXiv (Cornell University)|2023. 02. 27.

COVID-19 diagnosis using AI인용 수 4

한 줄 요약

이 논문은 흉부 X-ray 분석을 위한 지식 기반 자동 진단(KAD)을 제안한다. KAD는 지식 그래프에서 유래한 의료 지식을 통합하여 zero-shot 및 few-shot 진단 성능을 향상시키는 시각-언어 사전학습 모델이다. 영상의 임상 엔티티와 관계를 방사선 보고서에서 추출하고 질의 기반 트랜스포머(Disease Query Network)를 활용함으로써, KAD는 완전히 지도 학습된 모델 수준의 zero-shot 성능를 달성하며, 다섯 가지 병변 중 세 가지에서 통계적으로 유의미하게 평균 전문 방사선의사 성능을 초월한다.

ABSTRACT

While multi-modal foundation models pre-trained on large-scale data have been successful in natural language understanding and vision recognition, their use in medical domains is still limited due to the fine-grained nature of medical tasks and the high demand for domain knowledge. To address this challenge, we propose a novel approach called Knowledge-enhanced Auto Diagnosis (KAD) which leverages existing medical domain knowledge to guide vision-language pre-training using paired chest X-rays and radiology reports. We evaluate KAD on {four} external X-ray datasets and demonstrate that its zero-shot performance is not only comparable to that of fully-supervised models, but also superior to the average of three expert radiologists for three (out of five) pathologies with statistical significance. Moreover, when few-shot annotation is available, KAD outperforms all existing approaches in fine-tuning settings, demonstrating its potential for application in different clinical scenarios.

연구 동기 및 목표

• 기존 시각-언어 모델이 미세한 진단을 어렵게 하고 도메인 특화 지식이 부족한 의료 영상 분석의 한계를 해결하기 위해.
• 지식 그래프에서 유래한 구조화된 의료 지식을 통합하여 흉부 X-ray 진단에서 zero-shot 및 few-shot 일반화 성능을 향상시키기 위해.
• 영상에서 임상적으로 관련된 영역을 국소화하는 주의 맵을 생성함으로써 모델의 해석 가능성 향상하기 위해.
• 큰 규모의 레이블링 데이터에 의존하는 것을 줄이기 위해 이미지와 보고서의 쌍을 기반으로 한 약한 지도 학습 사전학습 활용하기 위해.
• 지식 기반 사전학습이 피팅 트레이닝 없이도 새로운 병변에서 인간 전문가 수준의 성능을 달성하거나 초월할 수 있음을 입증하기 위해.

제안 방법

• 두 단계 학습 프레임워크: 먼저, 대조 학습을 사용하여 의료 지식 그래프에서 의료 엔티티와 관계의 조밀한 텍스트 표현을 학습하는 지식 인코더를 사전학습한다.
• 임상 엔티티와 관계를 방사선 보고서에서 추출하기 위해 세 가지 방법을 사용: 히우리스틱 규칙, RadGraph, 또는 GPT-3.5(ChatGPT)를 활용하여 구조화된 지식 입력을 생성한다.
• 흉부 X-ray 특징과 추출된 의료 엔티티 및 관계의 임베딩 간에 이미지-텍스트 대조 학습을 수행하여 시각적 표현과 지식 증강 텍스트 표현을 정렬한다.
• 질병 이름을 입력으로 받아 시각적 특징에 주의를 기울이며 분류 확률와 주의 맵을 생성하는 질의 기반 트랜스포머인 질병 질의 네트워크(Disease Query Network, DQN)를 학습한다.
• 사전학습된 지식 인코더와 DQN을 사용하여 질병 이름을 질의로 인코딩하고 관련 이미지 영역을 강조하는 주의 맵을 생성함으로써 zero-shot 추론을 수행한다.
• 추가 레이블링 데이터가 가용할 경우 표준 프로토콜을 사용하여 few-shot 미세조정을 가능하게 하여, 양호한 전이 가능성 입증.

실험 결과

연구 질문

• RQ1 기존의 자기지도 학습 및 지도 학습 모델과 비교해 병변 X-ray 영상에서 지식 기반 시각-언어 사전학습이 zero-shot 진단 성능 향상에 기여하는가?
• RQ2 의료 지식 그래프를 시각-언어 사전학습에 통합하면 희귀하거나 미리 보지 않은 병변에 대해 더 나은 일반화 성능를 달성하는가?
• RQ3 모델의 예측이 방사선의사의 레이블링과 일치하는 주의 맵을 통해 설명 가능하게 할 수 있는가?
• RQ4 여러 병변에 걸쳐 zero-shot 평가에서 모델의 성능가 전문 방사선의사의 성능와 비교해 볼 때 어떻게 되는가?
• RQ5 지식 주입이 few-shot 미세조정 시나리오에서 데이터 효율성에 얼마나 기여하는가?

주요 결과

• KAD는 PadChest에서 193개 병변 전부에 대해 최신 자기지도 학습 모델보다 유의미하게 높은 zero-shot 성능를 달성하며 통계적 유의성 확보.
• CheXpert에서 KAD는 zero-shot 평가에서 다섯 병변 중 세 가지에서 세 전문 방사선의사 평균 성능을 통계적으로 유의미하게 초월.
• few-shot 미세조정에서 KAD는 모든 기존 접근법을 뛰어넘으며, 뛰어난 전이 가능성과 데이터 효율성 입증.
• 모델이 생성한 주의 맵은 ChestX-Det10에서 포인팅 게임 평가를 통해 방사선의사의 병변 레이블링과 밀도적으로 일치함을 확인.
• 교차 주의 맵을 통해 신뢰할 수 있고 기반된 시각적 설명 제공으로 임상적 신뢰도 및 설명 가능성 향상.
• 지식 그래프 표현의 통합은 특히 긴 꼬리형 및 희귀 병변에서 모델 일반화 능력을 향상시킴.