[논문 리뷰] DeViDe: Faceted medical knowledge for improved medical vision-language pre-training

Haozhe Luo, Ziyu Zhou외 3명|arXiv (Cornell University)|2024. 04. 04.

Medical and Biological Sciences인용 수 4

한 줄 요약

DeViDe는 흉부 X선에 대한 시각-언어 미리 훈련 프레임워크로, 방사선 검사 보고서, 의학적 정의, 오픈 웹에서 유래한 방사선 영상 기반 시각적 기술 등 다각도의 의료 지식을 이원방향 트랜스포머와 다중 해상도 일치 손실을 통해 통합한다. 이는 세 개의 대규모 데이터셋에서 최신 기준(SOTA)의 제로샷 성능을 달성하며, 분류 및 분할 작업 전반에 걸쳐 뛰어난 미세조정 성능을 보이며, 특히 일부 병변에서 시각적 기술이 최대 6.6%의 AUC 향상 기여를 한다.

ABSTRACT

Vision-language pre-training for chest X-rays has made significant strides, primarily by utilizing paired radiographs and radiology reports. However, existing approaches often face challenges in encoding medical knowledge effectively. While radiology reports provide insights into the current disease manifestation, medical definitions (as used by contemporary methods) tend to be overly abstract, creating a gap in knowledge. To address this, we propose DeViDe, a novel transformer-based method that leverages radiographic descriptions from the open web. These descriptions outline general visual characteristics of diseases in radiographs, and when combined with abstract definitions and radiology reports, provide a holistic snapshot of knowledge. DeViDe incorporates three key features for knowledge-augmented vision language alignment: First, a large-language model-based augmentation is employed to homogenise medical knowledge from diverse sources. Second, this knowledge is aligned with image information at various levels of granularity. Third, a novel projection layer is proposed to handle the complexity of aligning each image with multiple descriptions arising in a multi-label setting. In zero-shot settings, DeViDe performs comparably to fully supervised models on external datasets and achieves state-of-the-art results on three large-scale datasets. Additionally, fine-tuning DeViDe on four downstream tasks and six segmentation tasks showcases its superior performance across data from diverse distributions.

연구 동기 및 목표

• 흉부 X선에 대한 시각-언어 미리 훈련에서 효과적인 의료 지식 통합의 격차를 해결하기 위해, 특히 원시적인 방사선 검사 보고서와 추상적인 정의에 대한 과도한 의존을 줄이기 위해.
• 다양한 수준의 해상도에서 제공되는 세부적인 다중 소스 의료 지식을 통합함으로써 모델의 일치도를 향상시키기 위해.
• 추가 애너테이션 없이도 다양한 임상 데이터 분포에서 제로샷 및 소수 샘플 일반화 능력을 향상시키는 지식 증강 VLP 프레임워크를 개발하기 위해.
• 방사선 영상 기반 시각적 기술이 의료 영상에서 모델 성능과 해석 가능성에 미치는 영향을 조사하기 위해.
• 추가 애너테이션 없이도 다양한 텍스트 의료 지식과 이미지 특징을 통합하고 일치시키는 통합적이고 확장 가능한 방법을 개발하기 위해.

제안 방법

• DeViDe는 이미지 특징, 방사선 검사 보고서, 의학적 정의, 그리고 방사선 학문적 실체에 대한 오픈 웹에서 유래한 시각적 기술을 통합된 입력 형식으로 처리하는 이원방향 트랜스포머 아키텍처를 사용한다.
• 이질적인 소스에서 온 의료 지식을 통일하고 표준화하기 위해 대규모 언어 모델을 활용하여 용어와 구조의 일관성을 확보한다.
• 두 가지 새로운 손실 함수를 사용하여 모델을 훈련한다: 국소적인 이미지-텍스트 상호관계를 위한 패치-텍스트 일치 손실($\mathcal{L}_{pta}$)과 전반적인 일치를 위한 텍스트-이미지 대비 손실($\mathcal{L}_{tnc}$).
• 새로운 프로젝션 레이어를 통해 다중 레이블 이미지-기술표현 일치를 가능하게 하여, 한 장의 이미지가 여러 세부적인 시각적 기술과 연결될 수 있도록 한다.
• 지식 주입은 크로스 어텐션을 사용해 관련 이미지 영역에 텍스트 기술를 기반으로 하는 전용 지식 검색 레이어를 통해 수행된다.
• 이 프레임워크는 추가 애너테이션 없이, 이미지와 보고서의 쌍에서 유도된 약한 지도 신호에 의존한다.

실험 결과

연구 질문

• RQ1 오픈 웹에서 유래한 방사선 영상 기반 시각적 기술을 통합함으로써 제로샷 성능이 어떻게 향상되는가?
• RQ2 다중 해상도 손실($\mathcal{L}_{pta}$ 및 $\mathcal{L}_{tnc}$)이 이미지 영역과 텍스트 지식 간의 일치도를 얼마나 향상시키는가?
• RQ3 DeViDe는 미세조정 없이도 완전히 지도 학습된 기준 모델에 비해 제로샷 설정에서 최신 기준(SOTA) 성능을 달성할 수 있는가?
• RQ4 DeViDe의 초기화 방식이 소수 샘플 및 미세조정 시나리오에서 데이터 효율성과 수렴 속도를 어떻게 향상시키는가?
• RQ5 세부적인 시각적 기술이 비정상성 탐지에서 모델의 해석 가능성과 국소화 정확도에 기여하는 정도는 어떠한가?

주요 결과

• DeViDe는 세 개의 대규모 데이터셋에서 최신 기준(SOTA)의 제로샷 성능을 달성한다: ChestX-ray14(AUC 0.7771), CheXpert(AUC 0.8998), PadChest(AUC 0.7465).
• 제로샷 평가에서 DeViDe는 외부 데이터셋에서 완전히 지도 학습된 모델의 성능을 재현하며 강력한 일반화 능력을 입증한다.
• 제거 실험에서 $\mathcal{L}_{pta}$를 제거할 경우 두 데이터셋에서 AUC가 최대 3% 감소함을 확인하여, 이 손실이 국소 일치에 핵심적인 역할을 한다는 것을 입증한다.
• 시각적 기술의 통합은 PadChest의 Fracture 클래스에서 최대 6.6%의 AUC 향상을 가져오며, 이는 그들의 영향력을 강력하게 보여준다.
• 네 개의 분류 및 여섯 개의 분할 작업에서 미세조정을 수행할 경우, DeViDe로 초기화된 모델은 더 나은 최적점으로 수렴하며 데이터 효율성이 향상된다.
• 정성 분석 결과, 어텐션 맵이 해부학적 영역과 잘 일치하며, '광범위한 농양'과 같은 산발적인 이상 소견은 넓은 영역에 집중되고, '농양'과 같은 국소적인 이상 소견은 집중된 영역에 집중된 어휘를 반영한다.