[논문 리뷰] CompRess: Self-Supervised Learning by Compressing Representations

Soroush Abbasi Koohpayegani, Ajinkya Tejankar외 1명|arXiv (Cornell University)|2020. 10. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 60인용 수 24

한 줄 요약

이 논문은 대규모 사전 훈련된 자기지도 학습 교사 모델(예: SimCLR ResNet-50x4)에서 더 작은 학생 모델(예: AlexNet)으로 데이터 포인트의 상대적 유사도 순서를 모방함으로써 지도 학습이 필요 없이 지식을 전이하는 자기지도 학습 모델 압축 방법인 CompRess를 제안한다. 이 방법은 ImageNet에서 최신 기술 성능을 달성하며, 압축된 AlexNet이 선형 평가에서 완전히 지도 학습된 AlexNet(59.0% 대 56.5%)과 최근접 이웃 평가에서(50.7% 대 41.4%)를 초월하여 자기지도 학습 모델이 ImageNet 분류 자체에서 그 지도 학습 대응 모델을 능가한 최초의 사례이다.

ABSTRACT

Self-supervised learning aims to learn good representations with unlabeled data. Recent works have shown that larger models benefit more from self-supervised learning than smaller models. As a result, the gap between supervised and self-supervised learning has been greatly reduced for larger models. In this work, instead of designing a new pseudo task for self-supervised learning, we develop a model compression method to compress an already learned, deep self-supervised model (teacher) to a smaller one (student). We train the student model so that it mimics the relative similarity between the data points in the teacher's embedding space. For AlexNet, our method outperforms all previous methods including the fully supervised model on ImageNet linear evaluation (59.0% compared to 56.5%) and on nearest neighbor evaluation (50.7% compared to 41.4%). To the best of our knowledge, this is the first time a self-supervised AlexNet has outperformed supervised one on ImageNet classification. Our code is available here: https://github.com/UMBCvision/CompRess

연구 동기 및 목표

• 라벨이 필요 없이 대규모 자기지도 학습 교사 모델에서 더 작은 학생 모델로 지식을 전이하는 모델 압축 방법을 개발하는 것.
• 더 깊고 자기지도 학습된 교사 모델의 지식을 활용하여 ImageNet 분류와 같은 후속 작업에 대해 작은 효율적인 모델의 성능을 향상시키는 것.
• 데이터 업로드가 필요 없이 잘 일반화되는 자기지도 학습 모델을 압축함으로써 프라이버시를 보호하고 장치 내에서의 추론을 가능하게 하는 것.

제안 방법

• 학생 모델은 교사의 임bedding 공간에서 데이터 포인트 간의 상대적 유사도 순서를 모방하도록 훈련되며, 이는 최근접 이웃 거리에서 유도된 소프트 확률 분포를 사용한다.
• 각 쿼리 이미지에 대해, 교사는 메모리 백에 있는 모든 앵커 포인트까지의 거리를 계산하고, 온도 조정된 소프트맥스를 통해 이를 확률 분포로 변환하며, 이 분포가 디스틸레이션의 타겟으로 사용된다.
• 'Ours-2q' 버전에서는 메모리 백에 대한 모멘타ム 기반 업데이트를 사용하여 안정성과 성능을 향상시킨다.
• 학생 모델은 자신의 유사도 분포와 교사의 소프트 타겟 분포 간의 교차 엔트로피 손실을 사용하여 훈련된다.
• 이 방법은 직접적인 대비 학습이나 어려운 양성/음성 쌍의 감독을 피하고, 유사하고 비유사한 샘플의 상대적 순서를 유지하는 데 초점을 맞춘다.
• 평가 프로토콜에 대한 하이퍼파ram터 튜닝 없이 선형 평가, 최근접 이웃 분류, 클러스터 정렬을 사용하여 방법을 평가한다.

실험 결과

연구 질문

• RQ1 대규모 자기지도 학습 교사 모델에서의 지식 디스틸레이션은 ImageNet 분류와 같은 후속 작업에서 더 작은 학생 모델의 성능을 향상시킬 수 있는가?
• RQ2 동일한 데이터에서 지도 학습 손실로 훈련된 작은 모델보다 자기지도 학습 교사 모델을 압축함으로써 더 나은 일반화 성능을 달성할 수 있는가?
• RQ3 ImageNet 분류 작업 자체에서 평가했을 때 자기지도 학습 학생 모델이 동일 아키텍처의 완전히 지도 학습된 모델을 능가할 수 있는가?
• RQ4 온도와 메모리 백 크기와 같은 하이퍼파ram터가 압축된 학생 모델의 성능에 어떤 영향을 미치는가?
• RQ5 이 압축 설정에서 모멘타움 업데이트 메커니즘이 안정적인 지식 전이에 필수적인가?

주요 결과

• CompRess 방법은 AlexNet 학생 모델을 사용해 ImageNet 선형 평가에서 59.0%의 정확도를 달성하며, 완전히 지도 학습된 AlexNet(56.5%)을 초월한다.
• 최근접 이웃 평가에서, 압축된 AlexNet은 50.7%의 정확도를 기록하여 지도 학습 기반선(41.4%)을 크게 뛰어넘는다.
• SimCLR ResNet-50x4 교사에서 압축할 경우 선형 평가에서 59.3%의 정확도와 최근접 이웃 평가에서 50.7%의 정확도를 달성하여 최신 기술 성능을 입증한다.
• 절단 분석 결과, 작은 온도(예: 0.1)와 큰 메모리 백 크기로 성능 향상이 가능하며, 이는 국소 이웃 구조에 집중하기 때문이다.
• 교사의 특징를 캐싱함으로써 훈련 시간을 약 3배 단축시키며, 최근접 이웃 정확도는 0.4% 감소에 그쳐 대규모 훈련에 실용적이다.
• 메모리 백 업데이트에서 모멘타움을 제거해도 성능 저하가 미미하여, 이 설정에서는 모멘타움이 필수적이지 않다는 것을 시사한다.