[논문 리뷰] Conditional Negative Sampling for Contrastive Learning of Visual Representations

Mike Wu, Milan Mosse외 3명|arXiv (Cornell University)|2021. 05. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 12

한 줄 요약

이 논문은 상호정보량 추정을 향상시키기 위해 각 양성 샘플 주변의 반경에서 반례를 부분적으로 딱딱하게 선택하는 조건부 음성 샘플링을 제안한다. 양성 샘플에 기반한 음성 샘플링을 통해 분산을 줄이고 성능을 향상시켜, 선형 평가와 전이 학습 환경에서 여러 모델과 벤치마크에서 2–5%의 절대 정확도 향상을 달성한다.

ABSTRACT

Recent methods for learning unsupervised visual representations, dubbed contrastive learning, optimize the noise-contrastive estimation (NCE) bound on mutual information between two transformations of an image. NCE typically uses randomly sampled negative examples to normalize the objective, but this may often include many uninformative examples either because they are too easy or too hard to discriminate. Taking inspiration from metric learning, we show that choosing semi-hard negatives can yield stronger contrastive representations. To do this, we introduce a family of mutual information estimators that sample negatives conditionally -- in a ringaround each positive. We prove that these estimators remain lower-bounds of mutual information, with higher bias but lower variance than NCE. Experimentally, we find our approach, applied on top of existing models (IR, CMC, and MoCo) improves accuracy by 2-5% absolute points in each case, measured by linear evaluation on four standard image benchmarks. Moreover, we find continued benefits when transferring features to a variety of new image distributions from the Meta-Dataset collection and to a variety of downstream tasks such as object detection, instance segmentation, and key-point detection.

연구 동기 및 목표

• 대비 학습에서 무작위 음성 샘플링의 비효율성을 해결하기 위해, 너무 쉽게 또는 너무 어려운 구분이 어려운 예시들이 포함되는 문제를 해결한다.
• 반경 기반의 샘플링 전략을 도입하여 대비 학습에서 상호정보량 추정을 향상시키고, 반경 내 반례에 집중한다.
• 기존 NCE와 비교해 분산을 크게 줄이면서도 상호정보량의 하한값을 이론적으로 유지하는 보장을 한다.
• 실험적으로 조건부 음성 샘플링이 다양한 모델과 후행 작업에서 표현 품질을 향상시킨다는 것을 검증한다.

제안 방법

• 특성 유사도를 기반으로 각 양성 샘플 주변의 고리 형태로 음성을 조건부로 샘플링하는 상호정보량 추정자 가족을 제안한다.
• 양성 샘플과 너무 유사하거나 너무 다를 바 없는, 즉 반경 내 반례를 우선순위로 삼는 조건부 샘플링 메커니즘을 사용한다.
• 제안된 추정자가 상호정보량의 유효한 하한값을 유지함을 증명하며, 기존 NCE와 비교해 편향은 증가하지만 분산은 크게 감소한다.
• InfoMin, CMC, MoCo와 같은 기존 대비 학습 프레임워크에 즉시 통합 가능한 플러그인 방식의 개선 기법을 적용한다.
• 온도 스케일링된 대비 손실과 조건부 샘플링을 결합하여 학습 중 특징의 구분 능력을 향상시킨다.
• 최적화 과정 중 현재 특징 분포에 따라 동적으로 음성 샘플링을 조정할 수 있는 고리 형태의 샘플링 전략을 활용한다.

실험 결과

연구 질문

• RQ1 무작위 음성 샘플링 대비 반경 내 반례에 집중하는 조건부 음성 샘플링이 대비 시각적 표현 품질을 향상시키는가?
• RQ2 제안된 조건부 샘플링 방법이 분산을 줄이면서도 상호정보량 추정의 이론적 하한값 성질을 유지하는가?
• RQ3 선형 평가 하에서 다양한 대비 학습 프레임워크(예: IR, CMC, MoCo)에서 성능 향상은 어느 정도인가?
• RQ4 새로운 이미지 분포와 다양한 후행 작업으로의 특징 전이 시, 이 방법의 일반화 능력은 어떠한가?

주요 결과

• 제안된 조건부 음성 샘플링 방법은 기존 모델에 적용했을 때 네 가지 표준 이미지 벤치마크에서 선형 평가 정확도를 2–5% 절대적으로 향상시킨다.
• 분산을 줄이면서도 상호정보량 추정의 하한값 성질을 유지함으로써 더 안정적이고 효과적인 학습을 가능하게 한다.
• InfoMin (IR), CMC, MoCo를 포함한 여러 대비 학습 프레임워크에서 일관된 성능 향상이 관찰되어 광범위한 적용 가능성을 입증한다.
• Meta-Dataset 컬렉션에서의 전이 성능 향상은 새로운 이미지 분포로의 강력한 일반화 능력을 시사한다.
• 객체 검출, 인스턴스 세그멘테이션, 키포인트 검출을 포함한 다양한 후행 작업에서 일관된 성능 향상이 나타난다.