[논문 리뷰] X-TRA: Improving Chest X-ray Tasks with Cross-Modal Retrieval Augmentation

Tom van Sonsbeek, Marcel Worring|arXiv (Cornell University)|2023. 02. 22.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

X-TRA는 흉부 X선 분석을 위한 크로스모달 검색 보강 프레임워크를 제안하며, 미세조정된 CLIP 모델을 사용해 질병 관련 이미지와 보고서를 검색함으로써 질병 분류 및 방사선과 보고서 검색을 향상시킨다. 레이블 인식형 대비 손실을 통해 시각 및 언어 모odalities를 질병 특이적 콘텐츠 기반으로 정렬하고, 검색된 지식을 통합하기 위해 다중헤드 어텐션을 적용함으로써 X-TRA는 최신 기술 수준의 성능을 달성하여 다중라벨 분류 성능을 5% 이상 향상시키고, 전용 보고서 생성 방법과 동등한 성능을 기록한다.

ABSTRACT

An important component of human analysis of medical images and their context is the ability to relate newly seen things to related instances in our memory. In this paper we mimic this ability by using multi-modal retrieval augmentation and apply it to several tasks in chest X-ray analysis. By retrieving similar images and/or radiology reports we expand and regularize the case at hand with additional knowledge, while maintaining factual knowledge consistency. The method consists of two components. First, vision and language modalities are aligned using a pre-trained CLIP model. To enforce that the retrieval focus will be on detailed disease-related content instead of global visual appearance it is fine-tuned using disease class information. Subsequently, we construct a non-parametric retrieval index, which reaches state-of-the-art retrieval levels. We use this index in our downstream tasks to augment image representations through multi-head attention for disease classification and report retrieval. We show that retrieval augmentation gives considerable improvements on these tasks. Our downstream report retrieval even shows to be competitive with dedicated report generation methods, paving the path for this method in medical imaging.

연구 동기 및 목표

• 인간의 진단 추론을 모방하기 위해 유사한 과거 사례에서의 지식을 명시적으로 통합함으로써 흉부 X선 분석 작업을 향상시키는 것.
• 의료 영상 검색에서 전반적인 특징의 지배를 완화하기 위해 세분화된 질병 관련 콘텐츠에 집중함으로써 도전 과제를 해결하는 것.
• 다중라벨 질병 분류 및 방사선과 보고서 검색을 모두 향상시키는 검색 보강 프레임워크를 개발하는 것.
• 의료 영상에서 도메인 이동에 대한 저항성과 다양한 데이터셋 간 일반화 능력을 평가하는 것.

제안 방법

• 질병 특이적 콘텐츠 기반으로 시각 및 언어 표현을 정렬하기 위해 레이블 인식형 대비 손실을 사용해 CLIP 모델을 미세조정함으로써 전반적인 이미지 외관에 의존도를 낮춘다.
• 미세조정된 CLIP 모델을 사용해 비모수적 검색 인덱스를 구축함으로써 이미지와 방사선과 보고서 간 크로스모달 검색을 가능하게 한다.
• 하류 추론 중에 검색된 이미지-보고서 쌍을 통해 이미지 특징을 풍부화하기 위해 다중헤드 어텐션을 활용해 검색 보강을 적용한다.
• 검색된 지식을 비모수적 메모리 구성 요소로 사용해 질병 분류 및 보고서 검색 파ip라인의 표현을 정규화하고 풍부하게 한다.
• MIMIC-CXR 및 CheXpert 데이터셋에서 표준 지표를 사용해 검색 성능을 평가하고, 인덱스 구성 및 크기의 분석 실험을 실시한다.
• 다양한 흉부 X선 컬렉션 간 전이성과 저항성을 평가하기 위해 데이터셋 간 평가를 수행한다.

실험 결과

연구 질문

• RQ1 유사 과거 사례에서 관련 정보를 활용함으로써 검색 보강이 다중라벨 질병 분류 성능 향상에 기여할 수 있는가?
• RQ2 미세조정된 CLIP를 사용한 크로스모달 검색이 표준 검색 방법보다 질병 관련 이미지-보고서 쌍을 더 잘 식별하는가?
• RQ3 검색 보강 특징은 전용 보고서 생성 모델의 성능을 따라잡거나 초월할 수 있는가?
• RQ4 검색 인덱스의 구성 및 크기가 하류 성능에 어떤 영향을 미치는가?
• RQ5 도메인 이동이 있는 다양한 흉부 X선 데이터셋 간에서 이 방법의 일반화 능력은 어느 정도인가?

주요 결과

• X-TRA는 다중라벨 질병 분류에서 최신 기술 수준의 성능을 달성하여 기준 모델 대비 F1 점수를 5% 이상 향상시켰다.
• 보고서 검색 성능에서도 경쟁력 있는 성과를 기록했으며, MIMIC-CXR 데이터셋에서 전용 보고서 생성 모델과 동등하거나 이를 초월했다.
• 검색 보강은 질병 분류 및 보고서 검색 모두를 향상시키며, 10만 건 이상의 샘플을 포함한 검색 인덱스를 사용할 경우 최고의 성능를 기록했다.
• 검색 결과가 유용하지 않은 경우에도 성능가 유지됨을 통해 주목적 기반 게이팅을 통한 강건성을 입증했다.
• 데이터셋 간 평가에서 미세조정 없이선 전이성이 제한적이지만, 새로운 도메인 데이터로 검색 인덱스를 업데이트할 경우 성능이 크게 향상됨을 확인했다.
• 분석 실험 결과, 레이블 인식형 미세조정이 질병 관련 콘텐츠를 검색하는 데 핵심적임을 확인했으며, 무작위 검색은 X-TRA의 검색 기능이 없을 경우와 유사한 성능를 기록함을 통해 본 방법이 관련이 없는 정보를 무시할 수 있음을 입증했다.