[논문 리뷰] MedAug: Contrastive learning leveraging patient metadata improves representations for chest X-ray interpretation

Yen Nhi Truong Vu, Richard Wang외 4명|arXiv (Cornell University)|2021. 02. 21.

COVID-19 diagnosis using AI참고 문헌 19인용 수 27

한 줄 요약

MedAug은 환자 메타데이터를 사용하여 이미지 간 교차 양성 페어를 구성한 대비 사전 학습으로 흉부 X-선 흉막 삼출 분류 성능을 향상시키고, 환자당 다수의 이미지를 활용합니다. 메타데이터를 이용한 음성 페어 전략은 명확한 이점을 보이지 않았습니다.

ABSTRACT

Self-supervised contrastive learning between pairs of multiple views of the same image has been shown to successfully leverage unlabeled data to produce meaningful visual representations for both natural and medical images. However, there has been limited work on determining how to select pairs for medical images, where availability of patient metadata can be leveraged to improve representations. In this work, we develop a method to select positive pairs coming from views of possibly different images through the use of patient metadata. We compare strategies for selecting positive pairs for chest X-ray interpretation including requiring them to be from the same patient, imaging study or laterality. We evaluate downstream task performance by fine-tuning the linear layer on 1% of the labeled dataset for pleural effusion classification. Our best performing positive pair selection strategy, which involves using images from the same patient from the same study across all lateralities, achieves a performance increase of 14.4% in mean AUC from the ImageNet pretrained baseline. Our controlled experiments show that the keys to improving downstream performance on disease classification are (1) using patient metadata to appropriately create positive pairs from different images with the same underlying pathologies, and (2) maximizing the number of different images used in query pairing. In addition, we explore leveraging patient metadata to select hard negative pairs for contrastive learning, but do not find improvement over baselines that do not use metadata. Our method is broadly applicable to medical image interpretation and allows flexibility for incorporating medical insights in choosing pairs for contrastive learning.

연구 동기 및 목표

• 환자 메타데이터를 활용한 의료 영상의 자기교합 학습(self-supervised contrastive learning) 개선 동기화.
• 다중 이미지에서 환자 속성을 공유하는 양성 페어를 구성하는 유연한 방법(MedAug)을 개발합니다.
• 제한된 라벨로 흉부 X-선 흉막 삼출 분류의 다운스트림 이득을 정량화합니다.
• 어떤 메타데이터(환자, 연구, 측면성)가 표현 품질에 가장 도움이 되는지 분석합니다.
• 메타데이터를 활용한 음성 페어 전략을 탐색하고 이들의 영향력을 평가합니다.

제안 방법

• criteria c를 만족하는 동일 환자의 이미지를 수집하여 강화된 augmentation 세트를 생성하는 MedAug를 제안합니다(예: 동일 연구, 동일/다른 측면성 등).
• ResNet-18을 사용한 MoCo v2 사전 학습, 20Epoch, 배치 크기 16, 학습률 1e-4, 온도 0.2, MLP 투영을 사용합니다.
• 고정된 인코더 출력에 대한 선형 분류기 미세조정 및 1% 라벨 데이터로의 엔드 투 엔드 미세조정을 수행합니다.
• 양성 페어를 형성하기 위한 서로 다른 기준 c(동일 환자, 다양한 연구/측면성 구성 등)를 평가합니다.
• 기준 MoCo v2 설정과 ImageNet Baseline과 비교하고 평균 AUC와 표준편차를 보고합니다.
• 메타데이터를 기반한 음성 페어 전략(측면성 등)의 분석과 그 효과를 선택적으로 검토합니다.

실험 결과

연구 질문

• RQ1 환자 메타데이터를 이용해 양성 페어를 구성하는 것이 의료 영상 작업에서 사전 학습 표현을 개선합니까?
• RQ2 어떤 메타데이터 신호(환자, 연구, 측면성)가 다운스트림 흉막 삼출 분류 성능을 가장 향상시키나요?
• RQ3 양성 페어에서 서로 다른 이미지 수를 늘리는 것이 표현 품질에 이점이 있습니까?
• RQ4 메타데이터 정보를 활용한 음성 페어 전략이 표준 MoCo 베이스라인보다 이득을 주나요?
• RQ5 메타데이터 기반 양성 페어가 흉부 X-선의 다른 CheXpert 태스크에서도 성능 향상을 보이나요?

주요 결과

• 최적의 양성 페어 전략(동일 환자, 동일 연구, 모든 측면성)이 기준 MoCo v2 설정 대비 선형 AUC에서 3.4% 증가, 엔드투엔드 AUC에서도 2.4% 증가를 보였습니다.
• 동일 환자의 이미지를 사용해 양성 페어를 선택하는 것이 일반적으로 AUC를 향상시키지만, 일부 설정에서 서로 다른 연구 번호를 포함하는 경우에는 예외가 있습니다.
• 양성 페어를 위한 이미지 풀을 늘리는 것(동일 환자, 동일 연구, 모든 측면성)이 다운스트림 성능을 향상시킵니다.
• 메타데이터를 사용한 음성 페어 전략(특히 측면성)은 AUC에서 기본 메타데이터 무상태 MoCo 대비 우위를 보이지 못했습니다.
• CheXpert 태스크 전반에 걸쳐 가장 메타데이터 기반 접근 방식(동일 환자, 동일 연구)이 선형 미세조정에서 ImageNet 및 MoCo 베이스라인을 지속적으로 능가했습니다.
• 탐색적 음성 페어 분석은 일관된 이점을 보이지 못했습니다.