[논문 리뷰] Local Contrastive Learning for Medical Image Recognition

Syed A Rizvi, Ruixiang Tang외 3명|PubMed|2023. 03. 24.

Radiomics and Machine Learning in Medical Imaging참고 문헌 15인용 수 6

한 줄 요약

이 논문은 자기주의 어텐션을 통해 주목할 만한 영역을 선택하고, 이러한 영역과 영상의 진단 보고서 간의 국소 대비 학습을 적용함으로써 의료 영상 인식의 해석 가능성과 성능을 향상시키는 유연한 피취조정 프레임워크인 국소 영역 대비 학습(LRCLR)을 제안한다. LRCLR는 흉부 X-레이에서 제로샷 분류 성능을 향상시키면서도 임상적으로 관련성이 있는 영역을 강조하여, 폐 투명도와 같은 미세한 병변을 식별하는 데 기존 베이스라인을 능가한다.

ABSTRACT

The proliferation of Deep Learning (DL)-based methods for radiographic image analysis has created a great demand for expert-labeled radiology data. Recent self-supervised frameworks have alleviated the need for expert labeling by obtaining supervision from associated radiology reports. These frameworks, however, struggle to distinguish the subtle differences between different pathologies in medical images. Additionally, many of them do not provide interpretation between image regions and text, making it difficult for radiologists to assess model predictions. In this work, we propose Local Region Contrastive Learning (LRCLR), a flexible fine-tuning framework that adds layers for significant image region selection as well as cross-modality interaction. Our results on an external validation set of chest x-rays suggest that LRCLR identifies significant local image regions and provides meaningful interpretation against radiology text while improving zero-shot performance on several chest x-ray medical findings.

연구 동기 및 목표

• 전체 표현 방식이 중요한 국소적 특징을 놓칠 수 있는 미세한 병변을 구분하는 데 어려움이 있는 의료 영상에서 이러한 문제를 해결하기 위해.
• 특정 영상 영역을 영상 진단 보고서 텍스트와 연결함으로써 모델의 해석 가능성 향상으로 영상의학자와의 신뢰 구축과 협업을 지원하기 위해.
• 기존의 대비 시각-언어 모델과 호환되는 모듈러하고 민첩한 피취조정 프레임워크를 개발하여 아키텍처를 대대적으로 수정하지 않고도 국소 대비 학습을 가능하게 하기 위해.
• 텍스트 보고서와 정렬된 구분 가능한 국소 영상 영역에 집중함으로써, 새로운 의료 이상 소견에 대한 제로샷 성능을 향상시키기 위해.

제안 방법

• LRCLR는 시각 트랜스포머 인코더에서 생성된 자기주의 어텐션 맵을 활용하여 중요시되는 영상 영역을 식별하고, 정보가 적은 배경 영역을 걸러내는 영역 선택 모듈을 도입한다.
• 선택된 영상 영역은 시각-언어 간의 상호작용을 자기주의 어텐션을 통해 인코딩하는 교차 모odal 트랜스포머를 통해 처리된다.
• 교차 모달 트랜스포머의 클래스 토큰과 해당 텍스트 임베딩 간에 국소 대비 손실이 적용되어 국소 영상 특징과 관련된 텍스트 기술과 정렬된다.
• 이 프레임워크는 플러그인 모듈로 설계되어, 어떤 사전학습된 대비 시각-언어 모델이라도 피취조정 과정에서 통합이 가능하다.
• 이 방법은 교차 모달 정렬뿐만 아니라 해석 가능성에도 어텐션 스코어를 활용하여, 주어진 텍스트 프롬프트와 관련성이 높은 영상 영역을 시각화한다.
• 전체 대비 학습과 국소 대비 학습을 조합함으로써 성능 향상과 특징 수준의 해석 가능성 향상을 동시에 달성한다.

Figure 1: Overview of Local Contrastive Learning (LRCLR) framework.

실험 결과

연구 질문

• RQ1 자기주의 어텐션 맵을 추가적인 감독 없이 임상적으로 관련성이 있는 국소 영상 영역을 효과적으로 식별하는 데 활용할 수 있는가?
• RQ2 영상 영역과 텍스트 간의 국소 대비 학습을 통합함으로써 흉부 X-레이에서 제로샷 분류 성능이 향상되는가?
• RQ3 제안된 프레임워크가 영상 영역을 영상 진단 보고서 내용과 의미적으로 연결하여 해석 가능성을 향상시킬 수 있는가?
• RQ4 LRCLR는 폐 투명도와 같은 미세한 병변을 식별하는 데 기존의 대비 프레임워크보다 우수한가?
• RQ5 LRCLR의 모듈러 설계는 다양한 사전학습된 시각-언어 아키텍처와 얼마나 잘 호환되는가?

주요 결과

• LRCLR는 CheXpert 테스트 세트에서 제로샷 분류 성능을 향상시켜, 특히 폐 투명도 소견에서 기존 베이스라인 모델을 능가했다.
• 어텐션 시각화 결과, LRCLR는 병변을 나타내는 흰색 물질이 존재하는 하부 폐 영역과 같은 임상적으로 관련성이 있는 영역에 집중하는 것으로 나타났다.
• 기존의 베이스라인 방법이 가장자리 영역이나 배경 영역을 강조하는 데 반해, LRCLR의 영역 선택은 폐 영역 내에서 불확실하거나 비정상적인 영역을 우선적으로 고려했다.
• 특정 영상 영역을 텍스트 프롬프트와 연결하는 어텐션 스코어를 생성함으로써, 이 방법은 영상의학자와의 협업 잠재력을 높이는 해석 가능성 향상을 보였다.
• 노이즈가 많거나 다수의 병변이 있는 영상에서는 가끔 어긋남이 발생했지만, 어텐션 스코어로 영역을 걸러내는 것만으로도 강조된 영역의 관련성 향상을 확인할 수 있었다.
• 이 프레임워크는 다양한 사전학습된 대비 모델과 호환되어, 기본 아키텍처를 재학습하지 않고도 모듈러하게 배포가 가능했다.

Figure 2: Overview of local region selection module.