[논문 리뷰] Are all negatives created equal in contrastive instance discrimination?

Tiffany Cai, Jonathan Frankle외 2명|arXiv (Cornell University)|2020. 10. 13.

Categorization, perception, and language참고 문헌 31인용 수 57

한 줄 요약

본 논문은 ImageNet에서 MoCo v2의 CID에서 가장 어려운 5% 네거티브만이 다운스트림 정확도의 거의 전체를 달성하는 데 필요하고 충분하며, 가장 쉬운 95%는 불필요하다; 매우 어려운 0.1%는 특정 설정에서 해로울 수 있다.

ABSTRACT

Self-supervised learning has recently begun to rival supervised learning on computer vision tasks. Many of the recent approaches have been based on contrastive instance discrimination (CID), in which the network is trained to recognize two augmented versions of the same instance (a query and positive) while discriminating against a pool of other instances (negatives). The learned representation is then used on downstream tasks such as image classification. Using methodology from MoCo v2 (Chen et al., 2020), we divided negatives by their difficulty for a given query and studied which difficulty ranges were most important for learning useful representations. We found a minority of negatives -- the hardest 5% -- were both necessary and sufficient for the downstream task to reach nearly full accuracy. Conversely, the easiest 95% of negatives were unnecessary and insufficient. Moreover, the very hardest 0.1% of negatives were unnecessary and sometimes detrimental. Finally, we studied the properties of negatives that affect their hardness, and found that hard negatives were more semantically similar to the query, and that some negatives were more consistently easy or hard than we would expect by chance. Together, our results indicate that negatives vary in importance and that CID may benefit from more intelligent negative treatment.

연구 동기 및 목표

• 대조적 인스턴스 구분(CID)에서 네거티브의 상대적 중요성 이해를 모티브로 삼는다.
• 다양한 난이도의 네거티브가 다운스트림 ImageNet 선형 정확도에 기여하는 정도를 정량화한다.
• 하드와 쉬운 네거티브를 구분하는 의미론적 특성을 식별한다.
• 특정 네거티브가 질의마다 일관되게 학습에 영향을 주는지 탐색한다.
• CID에서 더 똑똑한 네거티브 샘플링에 대한 시사점을 제시한다.

제안 방법

• ResNet-50 인코더와 MLP 투영 헤드를 갖춘 MoCo v2를 사용한다.
• 정규화된 대조-공간 임베딩 간의 닷 product를 네거티브 난이도로 정의한다.
• 부분집합을 제거하고 다운스트림 정확도를 측정하여 네거티브의 필요성과 충분성을 평가한다.
• 두 가지 온도(0.07 및 0.20)와 세 개의 랜덤 시드를 사용하여 평가한다.
• 클래스 레이블 및 단어망(WordNet) 기반 유사도 지표를 통해 네거티브의 의미론적 유사성을 분석한다.

실험 결과

연구 질문

• RQ1 CID에서 난이도별로 어떤 네거티브가 높은 다운스트림 정확도에 필요하지 않은가?
• RQ2 전처리에서 가장 어려운 네거티브만으로도 충분한가?
• RQ3 매우 어려운 네거티브가 학습을 해치고 있다면 그 이유는 무엇인가?
• RQ4 쉬운 네거티브와 어려운 네거티브를 구분하는 의미론적 특성은 무엇인가?
• RQ5 연구 결과가 CID를 위한 교육 커리큘럼이나 선별적 네거티브 샘플링에 어떤 시사점을 줄 수 있는가?

주요 결과

• 가장 쉬운 95%의 네거티브는 불필요하고 전체 정확도에 충분하지 않으며, 상위 5%의 가장 어려운 네거티브가 필요하고 충분하다.
• 가장 어려운 5%의 네거티브만으로 학습하면 베이스라인 Top-1 정확도에서 0.7% 포인트 이내로 도달하고, 가장 쉬운 95%로 학습하면 성능이 저하된다.
• 매우 가장 어려운 0.1%의 네거티브는 낮은 온도에서 해를 주며 제거하는 것이 부분적으로 유익하지만, 동일 클래스의 네거티브로 인해 특히 해로울 수 있다.
• 하드 네거티브는 쉬운 네거티브보다 쿼리와 의미적으로 더 유사한 경향이 있으며, 일부 쉬운 네거티브는 쿼리와 반-상관이면서도 의미적으로 유사하다.
• 쿼리에 걸쳐 일관되게 어렵거나 쉬운 네거티브가 존재하며, 큐에 일관되게 어려운 네거티브를 유지하는 것이 이익을 줄 수 있다.