[논문 리뷰] Towards better understanding and better generalization of few-shot classification in histology images with contrastive learning

Jiawei Yang, Hanbo Chen외 3명|arXiv (Cornell University)|2022. 02. 18.

AI in cancer detection인용 수 11

한 줄 요약

이 논문은 희소 샘플 분류를 위한 대trastive learning (CL) 및 잠재 증강 (LA) 프레임워크를 제안하며, 자기지도 학습 및 무 supervision semantic transfer를 활용하여 일반화 능력을 향상시킨다. 실험 결과, CL 모델은 새로운 히스토로지 이미지 클래스에 대해 지도 학습 모델보다 유의미하게 더 잘 일반화되며, LA는 교차 도메인 작업 전반에서 일관되게 성능을 향상시킨다.

ABSTRACT

Few-shot learning is an established topic in natural images for years, but few work is attended to histology images, which is of high clinical value since well-labeled datasets and rare abnormal samples are expensive to collect. Here, we facilitate the study of few-shot learning in histology images by setting up three cross-domain tasks that simulate real clinics problems. To enable label-efficient learning and better generalizability, we propose to incorporate contrastive learning (CL) with latent augmentation (LA) to build a few-shot system. CL learns useful representations without manual labels, while LA transfers semantic variations of the base dataset in an unsupervised way. These two components fully exploit unlabeled training data and can scale gracefully to other label-hungry problems. In experiments, we find i) models learned by CL generalize better than supervised learning for histology images in unseen classes, and ii) LA brings consistent gains over baselines. Prior studies of self-supervised learning mainly focus on ImageNet-like images, which only present a dominant object in their centers. Recent attention has been paid to images with multi-objects and multi-textures. Histology images are a natural choice for such a study. We show the superiority of CL over supervised learning in terms of generalization for such data and provide our empirical understanding for this observation. The findings in this work could contribute to understanding how the model generalizes in the context of both representation learning and histological image analysis. Code is available.

연구 동기 및 목표

• 임상 적용에서(annotation이 제한된) 히스토로지 데이터 문제를 해결하기 위해 희소 샘플 학습을 가능하게 하기 위해.
• 실제 도메인 이동(근접, 중간, 외부 도메인) 상황에서 히스토로지 이미지에서의 희소 및 일반화된 희소 학습을 연구하기 위해.
• 동일한 WSI 또는 다른 WSI에서의 샷 선택(shot selection)이 희소 학습 성능에 미치는 영향을 조사하기 위해.
• 대비 학습과 잠재 증강을 조합하여 모델의 일반화 능력과 레이블 효율성을 향상시키기 위해.
• 대비 학습이 비도메인적, 다강인물 히스토로지 이미지에서 지도 학습보다 성능이 뛰어나지 이유에 대한 경험적 통찰을 제공하기 위해.

제안 방법

• 라벨 없이 큰 기반 데이터셋에서 SimCLR 방식의 대비 학습을 사용해 표현 인코더를 사전 학습한다.
• 잠재 증강(LA)을 적용하여 기반 데이터셋의 의미적 변형을 무 supervision 방식으로 잠재 공간에 전이한다.
• 사전 학습된 CL 인코더를 특징 추출기로 사용하여 새로운 클래스의 소수의 레이블된 샘플에서 파생된 희소 분류 작업을 위해 미세 조정한다.
• ResNet-18의 여러 레이어(스테이지-2부터 스테이지-4까지)의 정규화된 잠재 특징에 대해 K-means 클러스터링을 수행하여 특징 집합을 시각화한다.
• 전역 풀링된 특징과 국소 특징 간의 코사인 유사도를 사용해 유사도 히트맵을 생성하여 주의 패턴을 분석한다.
• NCT, LC-25K, PAIP 데이터셋에서 세 가지 교차 도메인 작업에 대해 H-mean, 기본 클래스 정확도, 새로운 클래스 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 대비 학습이 희소 히스토로지 이미지 분류에서 지도 학습보다 더 잘 일반화되는가, 특히 도메인 이동 상황에서?
• RQ2 잠재 증강은 기반 데이터셋의 레이블이 없는 데이터를 활용하여 희소 일반화 능력을 어떻게 향상시키는가?
• RQ3 왜 대비 학습과 지도 학습 모델 간의 일반화 갭이 자연 이미지보다 히스토로지 이미지에서 더 크게 나타나는가?
• RQ4 다강인물, 다중 질감 히스토로지 이미지에서 CL 모델과 지도 학습 모델 간의 주의 패턴과 특징 클러스터링은 어떻게 다른가?
• RQ5 샷 선택(동일한 WSI 대비 다른 WSI)이 희소 학습 성능에 영향을 미치는가, 그리고 CL과 LA는 이를 어떻게 완화하는가?

주요 결과

• 대비 학습 모델은 새로운 히스토로지 클래스로의 일반화 능력에서 지도 학습 모델을 크게 앞서며, NCT 데이터셋에서 65.74%의 H-mean을 기록했다.
• 제안된 방법(CL과 LA 조합)은 기준 모델(65.74%) 대비 75.77%의 H-mean을 달성하여, 두 구성 요소 모두에서 일관된 성능 향상을 입증했다.
• 잠재 증강은 모든 세 가지 교차 도메인 작업에서 일관되게 성능 향상을 이끌었으며, 새로운 클래스가 다른 도메인에서 유래한 경우에도 성능 향상이 관찰되었다.
• 대비 학습과 지도 학습 모델 간의 일반화 갭은 자연 이미지보다 히스토로지 이미지에서 더 크며, 이는 복잡한 다강인물 조직에서 이동 가능한 표현을 더 잘 포착할 수 있음을 시사한다.
• 시각화 결과, CL 모델은 지도 학습 모델이 주로 우세한 영역에 집중하는 데 반해, 더 유의미한 국소 특징(예: 세포핵, 종양 세포)에 더 효과적으로 주목하는 것으로 나타났다.
• 분류기의 L2 정규화는 성능 향상에 기여했으며, 학습 및 추론 모두에서 L2 정규화된 특징을 사용했을 때 최고 성능(75.77% H-mean)을 기록했다.