[논문 리뷰] With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations

Debidatta Dwibedi, Yusuf Aytar외 3명|arXiv (Cornell University)|2021. 04. 29.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 자기지도 학습 대비 학습된 임bedding 공간에서의 최근접 이웃을 양성 예측으로 사용하는 NNCLR를 제안한다. 이는 데이터 증강된 시각을 양성 예측으로 사용하는 것과는 다릅니다. 데이터셋의 의미적으로 유사한 예시를 활용함으로써 NNCLR는 표현 학습을 향상시키며, ImageNet 선형 평가에서 75.6%의 top-1 정확도를 달성하여 이전 최고 성능 기법을 능가하고 복잡한 데이터 증강 전략에 대한 의존도를 감소시킵니다.

ABSTRACT

Self-supervised learning algorithms based on instance discrimination train encoders to be invariant to pre-defined transformations of the same instance. While most methods treat different views of the same image as positives for a contrastive loss, we are interested in using positives from other instances in the dataset. Our method, Nearest-Neighbor Contrastive Learning of visual Representations (NNCLR), samples the nearest neighbors from the dataset in the latent space, and treats them as positives. This provides more semantic variations than pre-defined transformations. We find that using the nearest-neighbor as positive in contrastive losses improves performance significantly on ImageNet classification, from 71.7% to 75.6%, outperforming previous state-of-the-art methods. On semi-supervised learning benchmarks we improve performance significantly when only 1% ImageNet labels are available, from 53.8% to 56.5%. On transfer learning benchmarks our method outperforms state-of-the-art methods (including supervised learning with ImageNet) on 8 out of 12 downstream datasets. Furthermore, we demonstrate empirically that our method is less reliant on complex data augmentations. We see a relative reduction of only 2.1% ImageNet Top-1 accuracy when we train using only random crops.

연구 동기 및 목표

• 단일 시각 양성 예측을 통한 인스턴스 식별을 넘어서, 자기지도 시각 표현 학습을 향상시키기 위해 목표로 한다.
• 대조 학습에서 복잡한 데이터 증강 전략에 대한 의존도를 줄이기 위해 의미적으로 유의미한, 샘플 간 양성 예측을 사용하기 위해 목표로 한다.
• 임bedding 공간 내 최근접 이웃이 내부 클래스 변동성을 포괄하는 효과적이고 다양한 양성 예측으로 기능할 수 있는지 탐색하기 위해 목표로 한다.
• 이러한 방법이 하류 전이 작업에서 자기지도 학습뿐 아니라 감독 학습 전처리 기법을 능가할 수 있음을 입증하기 위해 목표로 한다.

제안 방법

• 모델은 훈련 데이터의 일부에서 얻은 고정된 임베딩의 서포트 세트를 사용하며, 훈련 중에 업데이트되어 특징의 동적 메모리를 유지한다.
• 각 입력 이미지에 대해, 코사인 유사도를 사용해 잠재 공간 내 최근접 이웃을 검색하고, 이를 양성 예측으로 간주한다.
• 동일한 이미지의 증강된 시각과 서포트 세트의 최근접 이웃 간에 대조 손실을 적용하여 특징 유사성을 장려한다.
• 서포트 세트는 메모리 백과 큐와 다릅니다. 이는 음성 특징 저장이 아니라 양성 이웃 검색에 사용되기 때문이다.
• 모델은 SimCLR와 유사하게 모멘터럼 업데이트된 인코더와 예측 헤드를 사용하여 훈련되지만, 양성 예측의 출처에서 핵심적인 차이를 가진다.
• 이 방법은 다양한 설정에서 평가된다: ImageNet에서의 선형 평가, 1% 레이블을 사용한 준지도 학습, 12개의 하류 데이터셋에서의 전이 학습.

실험 결과

연구 질문

• RQ1 표준 데이터 증강된 시각 대비, 데이터셋의 최근접 이웃을 양성 예측으로 사용하는 대조 학습이 표현 품질 향상에 기여하는가?
• RQ2 NNCLR는 하류 작업에서 자기지도 학습과 감독 학습 전처리 간의 성능 격차를 줄이는가?
• RQ3 NNCLR는 복잡한 데이터 증강 전략에 대한 의존도를 어느 정도 감소시키는가?
• RQ4 최근접 이웃의 다양성(예: 동일 클래스, 유사 질감 또는 맥락)이 학습과 최종 성능에 어떤 영향을 미치는가?
• RQ5 순수하게 비지도 기반의 최근접 이웃 선택 전략이 항상 동일 클래스 이웃을 선택하는 감독 오라클에 비해 유사한 성능을 달성할 수 있는가?

주요 결과

• NNCLR는 ImageNet 선형 평가에서 75.6%의 top-1 정확도를 달성하여 이전 최고 기록보다 3.9% 향상되었고, SimCLR보다도 3.8% 향상되었다.
• 1%의 ImageNet 레이블만을 사용한 준지도 학습에서, NNCLR는 정확도를 53.8%에서 56.5%로 향상시켜 레이블 부족 상황에서도 강력한 일반화 능력을 보였다.
• 12개의 하류 전이 학습 벤치마크 중 8개에서 NNCLR가 최고의 자기지도 학습 기법뿐 아니라 감독 학습 전처리 기반 성능을 능가했다.
• 색상 왜곡, 컷아웃 등의 증강 기법을 사용하지 않고 무작위 컷 오프만 사용할 경우, NNCLR는 73.3%의 top-1 정확도를 기록했으며, 이는 2.1%의 상대적 감소에 불과하여 데이터 증강에 대한 의존도가 낮다는 것을 보여준다.
• 훈련 종료 시 최근접 이웃 정확도(동일 ImageNet 클래스)는 57%에 도달하여, 모델이 의미적으로 관련된 예시를 효과적으로 검색한다는 것을 시사한다.
• 동일 클래스 최근접 이웃만 사용하도록 강제할 경우(오라클 설정), NNCLR는 75.8%의 top-1 정확도를 기록하여 더 나은 이웃 선택 전략을 통해 추가적인 성능 향상이 가능할 수 있음을 시사한다.