[논문 리뷰] Exploring Image Augmentations for Siamese Representation Learning with Chest X-Rays

Rogier van der Sluijs, Nandita Bhaskhar외 3명|arXiv (Cornell University)|2023. 01. 30.

COVID-19 diagnosis using AI인용 수 5

한 줄 요약

이 논문은 흉부 X-ray 분석에서 시아모이즈 표현 학습을 위한 최적의 이미지 증강 전략을 조사하며, 무작위 리사이즈 컷팅과 노이즈 또는 소벨 필터링과 같은 특정 증강 기법을 조합할 경우 강건하고 일반화 가능한 표현을 얻을 수 있음을 입증한다. 이러한 자기지도 학습 표현은 세 가지 대규모 데이터셋(MIMIC-CXR, CheXpert, VinDr-CXR)에서 제로샷 전이 및 선형 프로빙 시 최대 20% 향상된 성능을 보이며, 희귀 및 분포 외 질환에 대해서도 뛰어난 성능을 보인다.

ABSTRACT

Image augmentations are quintessential for effective visual representation learning across self-supervised learning techniques. While augmentation strategies for natural imaging have been studied extensively, medical images are vastly different from their natural counterparts. Thus, it is unknown whether common augmentation strategies employed in Siamese representation learning generalize to medical images and to what extent. To address this challenge, in this study, we systematically assess the effect of various augmentations on the quality and robustness of the learned representations. We train and evaluate Siamese Networks for abnormality detection on chest X-Rays across three large datasets (MIMIC-CXR, CheXpert and VinDR-CXR). We investigate the efficacy of the learned representations through experiments involving linear probing, fine-tuning, zero-shot transfer, and data efficiency. Finally, we identify a set of augmentations that yield robust representations that generalize well to both out-of-distribution data and diseases, while outperforming supervised baselines using just zero-shot transfer and linear probes by up to 20%. Our code is available at https://github.com/StanfordMIMI/siaug.

연구 동기 및 목표

• 다양한 이미지 증강 전략이 의료 영상, 특히 흉부 X-ray에서 자기지도 표현 학습에 미치는 영향을 평가하는 것.
• 자연 이미지 자기지도 학습에서 일반적으로 사용되는 증강 기법이 의료 영상으로 일반화되는지 여부를 규명하는 것.
• 다양한 데이터셋과 후속 작업에서 학습된 표현의 강건성과 일반화 능력을 평가하는 것.
• 제로샷, 선형 프로빙, 파인튜닝 설정에서 자기지도 표현과 감독 학습 기반 모델 간의 성능을 비교하는 것.
• 희귀 및 분포 외 병변에 대해 높은 성능을 보이며 일반화 가능한 특징을 생성하는 최소한의 증강 조합을 규명하는 것.

제안 방법

• 동일한 흉부 X-ray의 양면 양성 뷰를 생성하기 위해 다수의 증강 쌍을 사용하는 시아모이즈 대비 학습 프레임워크를 적용한다.
• 다양한 증강 조합(무작위 리사이즈 컷팅, 노이즈, 소벨 필터링, 회전, 왜곡 등)을 사용하여 MIMIC-CXR 데이터셋에서 사전 학습을 수행한다.
• MIMIC-CXR, CheXpert, VinDr-CXR에서 선형 프로빙, 제로샷 전이, 파인튜닝, 데이터 효율성 실험을 통해 후속 평가를 수행한다.
• 공통(예: 폐렴) 및 희귀(예: 갈비 골절, 결핵) 병변을 포함한 여러 병변에 대해 매크로 AUROC를 성능 측정 지표로 사용한다.
• 분포 이탈 및 레이블 드리프트 조건 하에서 프레임워크를 평가하여 강건성을 테스트한다.
• 제거 분석을 통해 다양한 증강 쌍과 대비 학습 변형(SimSiam, SimCLR, MoCo, DINO 등)을 비교하여 증강 선택의 영향을 고립한다.

Figure 1: SimSiam architecture.

실험 결과

연구 질문

• RQ1 어느 이미지 증강 전략이 흉부 X-ray에 대한 자기지도 시아모이즈 학습에서 가장 강건하고 일반화 가능한 표현을 제공하는가?
• RQ2 다른 증강 기법을 사용해 학습된 표현이 제로샷 및 선형 프로빙 설정에서 감독 학습 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ3 이러한 자기지도 표현이 분포 외 질환과 데이터셋으로 일반화되는 정도는 어느 정도인가?
• RQ4 증강 기법의 선택이 갈비 골절 및 결핵과 같은 희귀 병변에서의 성능에 어떤 영향을 미치는가?
• RQ5 자기지도 표현이 한 데이터셋(MIMIC-CXR 등)에서 학습된 후, 파인튜닝 없이도 알려지지 않은 데이터셋(VinDr-CXR 등)에서 뛰어난 성능을 내는가?

주요 결과

• 무작위 리사이즈 컷팅이 가장 중요한 증강 기법으로, 모든 후속 작업에서 최적의 성능을 결정짓는다.
• 최적의 증강 쌍(컷팅 및 리사이징 + 노이즈 또는 소벨)은 내부 테스트 세트에서 제로샷 전이 시 감독 학습 기반 모델 대비 최대 20.0% 높은 AUROC를 기록했다.
• 외부 평가(VinDr-CXR)에서는 최고의 자기지도 모델이 감독 학습 기반 모델 대비 제로샷 전이 시 최대 27.0% 높은 성능을 보였다.
• 학습된 표현은 희귀 및 알려지지 않은 병변, 즉 결핵과 갈비 골절 등에도 잘 일반화되어 분포 이탈에 강건함을 입증했다.
• 자기지도 특징를 사용한 선형 프로빙 및 제한된 데이터에서의 파인튜닝이, 완전히 새로 학습된 감독 학습 모델의 정확도를 초월했다.
• 표현은 레이블 드리프트와 치명적인 잊힘에 저항력이 있었으며, 다양한 데이터 분포에서도 성능 유지 능력을 보였다.

Figure 2: A selection of image augmentations (left: a-h) and their performance on MIMIC-CXR evaluation data (right), following pretraining and linear probing on MIMIC-CXR training data. Combining random resized cropping with distortion resulted in the best augmentation pair, $t_{\theta}$ .