[논문 리뷰] Self-Damaging Contrastive Learning

Ziyu Jiang, Tianlong Chen외 2명|arXiv (Cornell University)|2021. 06. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 14

한 줄 요약

이 논문은 자기 손상 대비 학습(Self-Damaging Contrastive Learning, SDCLR)을 제안하며, 대비 학습을 위해 타겟 모델을 동적으로 제거하여 '자기 경쟁자(self-competitor)'를 생성함으로써 장수분포 데이터에 대한 강건성을 향상시키는 새로운 비지도 표현 학습 프레임워크이다. 전체 모델과 제거된 모델 간의 대비를 통해, 학습하기 어려운 장수분포 샘플을 암묵적으로 식별하고 강조함으로써, 전체 샘플 및 소수 샘플 설정에서 선형 평가 시 전체 정확도와 균형 잡힌 정확도를 크게 향상시킨다.

ABSTRACT

The recent breakthrough achieved by contrastive learning accelerates the pace for deploying unsupervised training on real-world data applications. However, unlabeled data in reality is commonly imbalanced and shows a long-tail distribution, and it is unclear how robustly the latest contrastive learning methods could perform in the practical scenario. This paper proposes to explicitly tackle this challenge, via a principled framework called Self-Damaging Contrastive Learning (SDCLR), to automatically balance the representation learning without knowing the classes. Our main inspiration is drawn from the recent finding that deep models have difficult-to-memorize samples, and those may be exposed through network pruning. It is further natural to hypothesize that long-tail samples are also tougher for the model to learn well due to insufficient examples. Hence, the key innovation in SDCLR is to create a dynamic self-competitor model to contrast with the target model, which is a pruned version of the latter. During training, contrasting the two models will lead to adaptive online mining of the most easily forgotten samples for the current target model, and implicitly emphasize them more in the contrastive loss. Extensive experiments across multiple datasets and imbalance settings show that SDCLR significantly improves not only overall accuracies but also balancedness, in terms of linear evaluation on the full-shot and few-shot settings. Our code is available at: https://github.com/VITA-Group/SDCLR.

연구 동기 및 목표

• 실세계 응용에서 장수분포, 균형 잡히지 않은 비지도 데이터에 대한 대비 학습의 취약성을 해결하기 위해.
• 클래스 분포에 대한 사전 지식이 필요 없이 자동으로 표현 학습을 균형 잡는 클래스에 종속되지 않는 방법을 개발하기 위해.
• 딥 네트워크가 제거될 때 장수분포 샘플을 잊는 경향을 보이는 모델 기억 동역학을 활용하여, 적응형 샘플 마이닝 신호로 활용하기 위해.
• 장수분포 데이터 분할 조건 하에서 선형 평가 프로토콜에서 전체 및 균형 잡힌 최종 성능을 향상시키기 위해.

제안 방법

• SDCLR는 메인 타겟 모델과 학습 중 타겟 모델에서 유도된 동적으로 제거된 '자기 경쟁자' 모델로 구성된 이중 브랜치 아키텍처를 도입한다.
• 자기 경쟁자는 타겟 모델의 가중치에 대해 크기 기반 제거를 통해 생성되며, 제거가 타겟 모델과 동시에 업데이트되는 온라인 방식으로 적용된다.
• 비제거된 파라미터에 대해서는 가중치를 공유하고, 배치 정규화 레이어는 별도로 유지하여 표현의 다양성을 유지한다.
• 같은 입력에 대한 타겟 브랜치와 자기 경쟁자 브랜치의 특징 표현 간에 대비 손실을 계산함으로써, 일치를 장려하면서도 제거에 가장 영향을 받는 샘플을 강조한다.
• 이 방법은 제거에 의해 특징이 크게 변화하는 샘플이 장수분포 샘플로 암묵적으로 식별되어 손실에서 더 높은 주의를 받는다.
• 표준 대비 학습 파이프라인(예: SimCLR)과 호환되며, 데이터 분포를 수정하거나 클래스별 손실 가중치를 도입하지 않고 적용 가능하다.

실험 결과

연구 질문

• RQ1 모델 제거를 사용하여 비지도, 클래스에 종속되지 않는 방식으로 학습하기 어려운 장수분포 샘플을 식별할 수 있는가?
• RQ2 완전한 모델과 제거된 버전 간의 대비가 장수분포 데이터 분포에서 표현 학습의 강건성을 향상시키는가?
• RQ3 장수분포 설정 하에서 표준 대비 학습 및 기타 베이스라인과 비교해 SDCLR는 선형 가분성과 소수 샘플 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 모델 용량과 어려운 샘플의 효과적 마이닝을 균형 잡기 위한 최적의 제거 비율은 무엇인가?

주요 결과

• SDCLR는 장수분포 CIFAR100 분할에서 선형 평가 정확도를 크게 향상시켜, 48.23% ± 0.20%의 선형 가분성과 24.68% ± 0.36%의 소수 샘플 정확도를 달성하며, SimCLR와 MocoV2를 모두 능가한다.
• 성능 격차가 높은 빈도의 클래스와 낮은 빈도의 클래스 간에 감소시키며, 소수 클래스 샘플은 제거된 모델의 특징 변화에 대해 다수 클래스 샘플 대비 3.5배 높은 영향을 미친다.
• 제거 비율에 대한 추론 분석 결과, 성능는 약 90% 제거 비율에서 최고에 도달하며, 이를 초과하면 모델 용량 손실로 인해 성능이 저하됨을 확인하였다.
• 90% 무작위 드롭아웃 베이스라인은 단지 15.48% ± 0.42%의 소수 샘플 정확도를 기록하여, 효과적인 샘플 마이닝을 위해 체계적인 제거가 필수적임을 입증한다.
• Grad-CAM 시각화 결과, SDCLR는 SimCLR보다 尾클래스 이미지에 대해 더 구분력 있는 주의 맵을 학습함을 확인하였으며, 이는 클래스 관련 특징의 정밀한 국소화를 의미한다.
• 희소 브랜치는 조건이 약할지라도 밀도 높은 타겟 모델의 일반화 능력을 향상시키며, 공진화 학습의 이점을 보여준다.