[논문 리뷰] Understanding Negative Samples in Instance Discriminative Self-supervised Representation Learning

Kento Nozawa, Issei Sato|arXiv (Cornell University)|2021. 02. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 72인용 수 14

한 줄 요약

이 논문은 인스턴스 구분형 자기지도 학습에서 부정적 샘플 수를 늘릴수록 실제로는 다운스트림 성능이 향상되지만 이론적으로는 성능 저하가 예상됨에도 불구하고 발생하는 역설을 해결한다. 쿠폰 수령자 문제를 활용한 새로운 이론적 프레임워크를 제안하여, 더 많은 부정적 샘플이 자동으로 다운스트림 지도 학습 손실을 자기지도 학습 목표에 암묵적으로 통합함으로써 일반화 성능 향상과 CIFAR-100 및 AGNews 데이터셋에서의 선형 평가 정확도 향상을 이끌어낸다.

ABSTRACT

Instance discriminative self-supervised representation learning has been attracted attention thanks to its unsupervised nature and informative feature representation for downstream tasks. In practice, it commonly uses a larger number of negative samples than the number of supervised classes. However, there is an inconsistency in the existing analysis; theoretically, a large number of negative samples degrade classification performance on a downstream supervised task, while empirically, they improve the performance. We provide a novel framework to analyze this empirical result regarding negative samples using the coupon collector's problem. Our bound can implicitly incorporate the supervised loss of the downstream task in the self-supervised loss by increasing the number of negative samples. We confirm that our proposed analysis holds on real-world benchmark datasets.

연구 동기 및 목표

• 인스턴스 구분형 자기지도 학습에서 이론적 분석과 실증적 관찰 간의 모순을 해결하는 것 — 즉, 더 많은 부정적 샘플이 이론적으로는 성능 저하를 야기할 것으로 예상되나 실제로는 성능 향상을 이끌어내는 현상.
• 부정적 샘플 수를 늘일수록 다운스트림 분류 정확도가 향상되는 이유를 설명하는 새로운 이론적 프레임워크를 개발하는 것.
• 쿠폰 수령자 문제에서 유도된 새로운 경계를 통해 자기지도 학습 손실과 다운스트림 지도 학습 손실을 공식적으로 연결하는 것.
• 실세계 비전 및 텍스트 벤치마크 데이터셋(CIFAR-100 및 AGNews 포함)에서 제안된 분석을 검증하는 것.

제안 방법

• 모든 고유한 인스턴스를 샘플링할 확률을 모델링하기 위해 쿠폰 수령자 문제를 활용하여 지도 학습 손실에 대한 새로운 하한을 제안한다.
• 기존 경계들과 달리 부정적 샘플 수가 증가함에 따라 발산하지 않고 안정적인 이론적 경계(식 10)를 유도한다.
• 반복적인 표현 샘플링의 가능성을 캡처하는 충돌 항목(식 7)을 도입하며, 이는 일반화 오차를 경계 짓는 데 핵심적이다.
• 부정적 샘플 수를 늘일수록 표현 공간이 다운스트림 작업에 대한 불변성으로 향하는 것을 암묵적으로 정규화함으로써 자기지도 InfoNCE 손실과 다운스트림 지도 학습 손실 간의 연결 고리를 확립한다.
• 비전 (CIFAR-100)과 자연어 처리 (AGNews) 데이터셋에서 선형 평가 프로토콜을 활용하여 이론적 주장에 대한 실증적 결과로 검증한다.
• 텍스트 실험에 대해 수정된 fastText 모델을 사용하고, 사전 학습된 임베딩에서 유사어로 단어를 대체하는 방식으로 데이터 증강을 적용한다.

실험 결과

연구 질문

• RQ1 자기지도 표현 학습에서 더 많은 부정적 샘플이 실증적으로 다운스트림 분류 정확도를 향상시키는 이유는 무엇인가, 이는 이론적으로는 성능 저하가 예상됨에도 불구하고?
• RQ2 대조적 자기지도 학습에서 부정적 샘플 수를 늘리는 실증적 성공을 설명할 수 있는 이론적 프레임워크를 개발할 수 있는가?
• RQ3 쿠폰 수령자 문제와 자기지도 학습에서 인스턴스 차별화의 일반화 행동 간의 관계는 무엇인가?
• RQ4 부정적 샘플 수를 늘일수록 자기지도 학습 목표에 다운스트림 지도 학습 손실이 어느 정도 암묵적으로 통합되는가?

주요 결과

• 제안된 경계(식 10)는 부정적 샘플 수가 증가함에 따라 발산하지 않고 안정성을 유지하지만, 기존의 CURL 기반 경계(식 8)는 급격히 증가하여 의미를 잃게 된다.
• CIFAR-100에서 부정적 샘플 수가 16에서 512로 증가함에 따라 선형 평가 정확도가 75.3%에서 76.5%로 상승했으며, 제안된 경계는 이 추세를 정확히 반영했다.
• AGNews에서 부정적 샘플 수 증가에 따라 선형 정확도가 88.74%에서 90.12%로 상승했고, 제안된 경계는 발산 없이 단조롭게 향상되는 경향을 보였다.
• 충돌 항목(식 7)은 항상 음수였으며, 부정적 샘플 수가 많아질수록 감소하여 표현의 다양성 향상과 중복 감소를 나타냈다.
• 제안된 경계가 지도 학습 손실에 대한 상한(식 11)은 부정적 샘플 수가 증가함에 따라 점진적으로 증가했으며, 관측된 성능 향상과 일치했다.
• SimCLR 및 MoCo와 같은 방법이 큰 수의 부정적 샘플을 사용하는 실증적 성공을 설명하는 데 성공적으로 기여하였으며, 이는 암묵적 지도 학습과의 연결을 통해 가능했다.