[논문 리뷰] SimTriplet: Simple Triplet Representation Learning with a Single GPU

Quan Liu, Peter C. Louis외 10명|arXiv (Cornell University)|2021. 03. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 5

한 줄 요약

SimTriplet는 병리 영상에 대한 단순한 삼중편차 대비 학습 방법을 제안하며, 공간적으로 인접한 패치를 양성 쌍으로 활용하여 음성 샘플 없이도 내부 샘플 및 상호 샘플 유사도를 최대화한다. 혼합 정밀도 학습을 사용해 단일 16GB GPU에서 훈련되었으며, 감독 학습보다 10.58% 높은 성능을 기록했고, SimSiam보다도 2.13% 높은 성능을 보였다. 이는 레이블이 1%에 불과한 경우에도 성립한다.

ABSTRACT

Contrastive learning is a key technique of modern self-supervised learning. The broader accessibility of earlier approaches is hindered by the need of heavy computational resources (e.g., at least 8 GPUs or 32 TPU cores), which accommodate for large-scale negative samples or momentum. The more recent SimSiam approach addresses such key limitations via stop-gradient without momentum encoders. In medical image analysis, multiple instances can be achieved from the same patient or tissue. Inspired by these advances, we propose a simple triplet representation learning (SimTriplet) approach on pathological images. The contribution of the paper is three-fold: (1) The proposed SimTriplet method takes advantage of the multi-view nature of medical images beyond self-augmentation; (2) The method maximizes both intra-sample and inter-sample similarities via triplets from positive pairs, without using negative samples; and (3) The recent mix precision training is employed to advance the training by only using a single GPU with 16GB memory. By learning from 79,000 unlabeled pathological patch images, SimTriplet achieved 10.58% better performance compared with supervised learning. It also achieved 2.13% better performance compared with SimSiam. Our proposed SimTriplet can achieve decent performance using only 1% labeled data. The code and data are available at https://github.com/hrlblab/SimTriple.

연구 동기 및 목표

• 의료 영상에서 대비 학습의 높은 계산 비용과 자원 제약 환경에서의 접근성 부족 문제를 해결하기 위해.
• 기본적인 자기 증강을 넘어서, 전체 슬라이드 영상(WSI)의 다중 시야 특성을 활용하여 인접한 패치를 양성 쌍으로 간주함으로써.
• 음성 샘플이 필요 없도록 인접한 조직 패치에서 유도된 양성 삼중편차 쌍에 초점을 맞춰 대비 학습에서 음성 샘플의 필요성을 제거하기 위해.
• 혼합 정밀도 학습을 통해 16GB 메모리의 단일 GPU에서 효과적인 훈련을 가능하게 하여 의료 AI 연구의 접근성을 높이기 위해.
• 제한된 레이블 데이터에서의 성능 평가를 통해 병리 영상 분류에서 강력한 소수 샘플 일반화 성능을 입증하기 위해.

제안 방법

• 이 방법은 동일한 패치의 두 개의 증강된 시각 간의 유사도(내부 샘플)와 인접한 패치의 두 시각 간의 유사도(상호 샘플)를 모두 최대화하는 삼중편차 기반 손실을 사용한다. 이 두 유형의 유사도는 모두 양성 쌍으로 간주된다.
• 침체 방지를 위해 정지 기울기 연산을 사용하는 SimSiam 스타일 아키텍처를 채택하여, 모멘텀 인코더나 음성 쌍이 필요 없도록 한다.
• 동일한 WSI에서 유도된 인접한 이미지 패치를 양성 쌍으로 사용하며, 공간적 근접성을 활용해 의미적 유사성을 보장한다.
• 혼합 정밀도 학습을 통해 단일 16GB GPU에서 배치 크기 128로 훈련하여 효율성과 메모리 사용을 향상시킨다.
• 각 인접한 패치 쌍에서 세 개의 증강 시각을 생성한다: 한 패치에서 두 개, 그 이웃 패치에서 한 개를 생성하여 삼중편차 입력을 구성한다.
• 최종 손실 함수는 내부 샘플 및 상호 샘플 유사도 목표를 모두 통합하여 특징의 구분 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 음성 샘플을 배제한 대비 학습 방법이 의료 영상 표현 학습에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 병리 영상의 다중 시야 특성—특히 공간적으로 인접한 패치—을 효과적으로 활용하여 자기지도 표현 학습을 향상시킬 수 있는가?
• RQ3 16GB 메모리의 단일 GPU에서 혼합 정밀도 학습을 통해 높은 성능 유지를 유지하면서도 효율적으로 대비 학습 모델을 훈련시킬 수 있는가?
• RQ4 소수의 레이블 데이터만 사용할 경우, 제안된 방법의 성능가 감독 학습 및 SimSiam 기준과 비교해 어떻게 되는가?
• RQ5 내부 샘플 증강 외에 상호 샘플 양성 쌍(인접한 패치)을 포함함으로써 표현 품질이 향상되는가?

주요 결과

• SimTriplet는 매크로 F1 스코어 0.6477과 균형 잡힌 정확도 0.7171을 기록했으며, 감독 학습(비교 F1: 0.5146, 균형 잡힌 정확도: 0.6113)보다 10.58% 높은 성능 향상을 보였다.
• 79,000장의 이미지에서 훈련된 SimSiam(비교 F1: 0.6267, 균형 잡힌 정확도: 0.6988)보다 F1 스코어 2.13% 높고, 균형 잡힌 정확도 1.83% 높았다.
• 레이블 데이터가 1%에 불과한 경우에도 SimTriplet는 균형 잡힌 정확도 0.7090을 기록했으며, SimSiam(0.7085)를 초월했고, 강력한 소수 샘플 일반화 성능을 입증했다.
• 모든 데이터 비율(1%에서 100%)에서 높은 성능를 유지했으며, 레이블 데이터가 25%일 경우 균형 잡힌 정확도 0.7280를 기록해 자원 부족 상황에서도 강인함을 보였다.
• 인접한 패치 쌍을 양성 샘플로 사용함으로써 표현 학습이 크게 향상되었으며, 이는 SimSiam 및 감독 기준 모델 대비 일관된 성능 향상으로 입증되었다.
• 혼합 정밀도 학습을 통해 단일 16GB GPU에서 상태 기준 성능을 달성할 수 있었으며, 이는 높은 접근성과 효율성을 보여주었다.