[논문 리뷰] Seed the Views: Hierarchical Semantic Alignment for Contrastive Representation Learning

Haohang Xu, Xiaopeng Zhang외 4명|arXiv (Cornell University)|2020. 12. 04.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 대상 및 네트워크 레이어 간의 계층적 의미 정렬을 위한 CsMl을 제안하며, 샘플 간 및 네트워크 레이어 간에 양성 뷰를 확장하여 특징 일반화를 향상시킵니다. 데이터 혼합을 활용한 강건한 교차 샘플 양성 선택과 복합 레이어 정규화를 통한 다단계 대비 손실을 도입함으로써, ResNet-50를 사용한 ImageNet 선형 평가에서 76.6%의 top-1 정확도를 달성하여 새로운 최고 성능을 기록합니다.

ABSTRACT

Self-supervised learning based on instance discrimination has shown remarkable progress. In particular, contrastive learning, which regards each image as well as its augmentations as an individual class and tries to distinguish them from all other images, has been verified effective for representation learning. However, pushing away two images that are de facto similar is suboptimal for general representation. In this paper, we propose a hierarchical semantic alignment strategy via expanding the views generated by a single image to extbf{Cross-samples and Multi-level} representation, and models the invariance to semantically similar images in a hierarchical way. This is achieved by extending the contrastive loss to allow for multiple positives per anchor, and explicitly pulling semantically similar images/patches together at different layers of the network. Our method, termed as CsMl, has the ability to integrate multi-level visual representations across samples in a robust way. CsMl is applicable to current contrastive learning based methods and consistently improves the performance. Notably, using the moco as an instantiation, CsMl achieves a extbf{76.6\% }top-1 accuracy with linear evaluation using ResNet-50 as backbone, and extbf{66.7\%} and extbf{75.1\%} top-1 accuracy with only 1\% and 10\% labels, respectively. extbf{All these numbers set the new state-of-the-art.}

연구 동기 및 목표

• 대비 표현 학습에서 의미적으로 유사한 이미지가 음성으로 간주되고 서로 멀어지게 되는, 비최적의 불변성 학습 문제를 해결하기 위해.
• 기존의 대비 방법에서 자주 발생하는 중간 네트워크 레이어의 낮은 표현 능력 문제를 개선하기 위해.
• 인간 레이블 없이도 의미적으로 유사한 샘플을 강건하게 선택하여 양성 대비 학습을 수행할 수 있도록 하기 위해.
• 다양한 네트워크 깊이에서 분류 가능한 표현을 강제하는 계층적 훈련 전략을 개발하기 위해.

제안 방법

• 의미적으로 유사하지만 동일하지 않은 합성 양성 샘플을 생성하기 위해 데이터 혼합 전략을 도입하여 교차 샘플 양성 선택의 강건성을 향상시킵니다.
• 표준 대비 손실을 다중 양성 뷰를 허용하도록 확장하여, 다양한 표현 수준 간의 계층적 정렬을 가능하게 합니다.
• 각 중간 대비 손실 이전에 버티컬 레이어를 적용하여 기울기 경쟁 문제를 해결하고 안정적인 최적화를 가능하게 합니다.
• 임bedding 공간에서 k-최근접 이웃 검색을 사용하여 의미적으로 유사한 샘플을 식별하고 교차 샘플 양성 쌍을 구성합니다.
• 최종 레이어를 넘어서 중간 레이어의 특징을 명시적으로 정렬하기 위해 다단계 대비 손실을 활용합니다.
• MoCo에 플러그인 모듈로 통합하여, 기존 대비 학습 프레임워크와의 호환성을 유지합니다.

실험 결과

연구 질문

• RQ1 의미적으로 유사한 이미지를 서로 다른 샘플 간에 명시적으로 정렬함으로써, 음성으로 간주하는 대신 양성으로 간주하는 방식으로 대비 표현 학습을 향상시킬 수 있는가?
• RQ2 인간 레이블 없이도 의미적으로 유사한 샘플을 강건하게 선택하여 양성으로 사용할 수 있는가?
• RQ3 중간 네트워크 레이어에서 분류 가능한 표현을 강제하면 후속 전이 성능이 향상되는가?
• RQ4 계층적 다단계 대비 학습은 안정성 유지와 함께 특징 일반화를 향상시킬 수 있는가?

주요 결과

• CsMl는 자기지도 학습 전훈을 통해 ResNet-50를 사용한 ImageNet 선형 평가에서 76.6%의 top-1 정확도를 달성하여 새로운 최고 성능을 기록합니다.
• 단지 1%의 레이블 데이터만을 사용할 경우, CsMl는 66.7%의 top-1 정확도를 기록하여 이전의 자기지도 학습 방법보다 뚜렷하게 뛰어난 성능을 보입니다.
• 10%의 레이블 데이터로 미세조정을 수행했을 때, CsMl는 75.1%의 top-1 정확도를 달성하여 강력한 전이 성능을 입증합니다.
• 중간 레이어의 분류 능력이 최대 3.3% 향상되어(예: 스테이지 3에서 60.7%에서 64.0%로), 검출 및 세그멘테이션 작업 성능 향상에 기여합니다.
• 혼합 샘플을 포함할 경우 CsMl의 계산 비용은 MoCo v2 대비 약 25% 높을 뿐이며, 다단계 감시로 인한 오버헤드는 미미합니다.
• 더 적은 에포크 수나 더 작은 배치 크기로 훈련하더라도 CsMl는 MoCo v2를 능가하며, 성능 향상 요인이 장기간 훈련이나 큰 배치 크기 때문이 아님을 시사합니다.