[논문 리뷰] Neighborhood Contrastive Learning for Novel Class Discovery

Zhun Zhong, Enrico Fini외 4명|arXiv (Cornell University)|2021. 06. 20.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

이 논문은 새로운 클래스 탐지(NCD)를 위한 근접 대비 학습(NCL)을 제안하며, 특성 공간 내 국소적 이웃을 의사 양성 샘플로 활용하고, 레이블이 있는 및 없는 특성의 혼합을 통해 어려운 음성 샘플을 생성한다. 이 방법은 기존 방법 대비 CIFAR-100에서 +13% 및 ImageNet에서 +8%의 클러스터링 정확도 향상으로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In this paper, we address Novel Class Discovery (NCD), the task of unveiling new classes in a set of unlabeled samples given a labeled dataset with known classes. We exploit the peculiarities of NCD to build a new framework, named Neighborhood Contrastive Learning (NCL), to learn discriminative representations that are important to clustering performance. Our contribution is twofold. First, we find that a feature extractor trained on the labeled set generates representations in which a generic query sample and its neighbors are likely to share the same class. We exploit this observation to retrieve and aggregate pseudo-positive pairs with contrastive learning, thus encouraging the model to learn more discriminative representations. Second, we notice that most of the instances are easily discriminated by the network, contributing less to the contrastive loss. To overcome this issue, we propose to generate hard negatives by mixing labeled and unlabeled samples in the feature space. We experimentally demonstrate that these two ingredients significantly contribute to clustering performance and lead our model to outperform state-of-the-art methods by a large margin (e.g., clustering accuracy +13% on CIFAR-100 and +8% on ImageNet).

연구 동기 및 목표

• 레이블이 있는 클래스가 분리된 데이터셋이 제공될 때, 레이블이 없는 데이터에서 새로운 클래스를 탐지하는 문제에 대응하기 위해.
• 대비 학습을 통해 더 구분력 있는 표현을 학습시킴으로써 NCD에서 클러스터링 성능을 향상시키기 위해.
• 기존 대비 학습 방법의 한계를 극복하기 위해 국소적 이웃 샘플을 추가 의사 양성 샘플로 통합하기 위해.
• 레이블이 있는 및 없는 샘플의 특성 공간 혼합을 통해 어려운 음성 샘플을 생성함으로써 음성 샘플링을 향상시키기 위해.
• 근접 대비 학습과 어려운 음성 샘플 생성을 조합할 경우 기준 데이터셋에서 클러스터링 정확도가 크게 향상됨을 보여주기 위해.

제안 방법

• NCL는 쿼리 샘플의 특성 공간 내에서 k-가장 가까운 이웃(KNNs)을 식별하고, 이를 의사 양성 샘플로 간주하여 대비 학습 신호를 강화한다.
• 메모리 백엔드를 사용하여 특성 저장 및 학습 중 각 쿼리에 대한 KNNs를 효율적으로 검색할 수 있도록 한다.
• 동일 샘플의 증강된 시각과 동일한 의미 클래스에서 온 KNNs를 포함한 두 유형의 양성 쌍에 대해 대비 손실을 최적화한다.
• 레이블이 있는 및 없는 샘플의 특성을 특성 공간에서 혼합하여 어려운 음성 샘플을 생성함으로써 다양한 도전적인 음성 샘플을 생성한다.
• 손실 함수는 증강된 양성 샘플과 의사 양성 샘플에 대한 대비 손실을 조합하고, 기여도를 균형 잡기 위해 학습 가능한 가중치를 사용한다.
• 시아미즈 네트워크와 모멘터럼 에너드를 사용하여 엔드 투 엔드로 프레임워크를 훈련시켜 클러스터링을 위한 강력한 특성 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 임베딩 공간 내 국소적 이웃를 NCD 설정에서 대비 학습의 의사 양성 샘플로 신뢰성 있게 사용할 수 있는가?
• RQ2 기존의 두 시각만을 사용하는 표준 대비 학습 대비, 샘플의 이웃에서 다수의 의사 양성 샘플을 통합할 경우 클러스터링 성능 향상이 이루어지는가?
• RQ3 특성 공간에서 레이블이 있는 및 없는 특성을 혼합하여 효과적인 어려운 음성 샘플을 생성할 수 있는가?
• RQ4 의사 양성 샘플의 수와 어려운 음성 샘플의 수가 NCD에서 모델 성능에 미치는 영향은 어떠한가?
• RQ5 어려운 음성 샘플 생성과 함께 근접 대비 학습을 적용한 제안된 NCL이 기존 최신 기술 수준의 방법보다 표준 NCD 벤치마크에서 뛰어난 성능을 보이는가?

주요 결과

• 의사 양성 샘플을 사용한 NCL은 기준 모델 대비 CIFAR-100에서 12.9%p, CIFAR-10에서 5.5%p의 클러스터링 정확도 향상을 달성한다.
• 의사 양성 샘플을 제거한 NCL w/o PP는 성능이 크게 떨어지며, 특히 CIFAR-10에서 정확도가 26.1%p 감소한다.
• 어려운 음성 샘플 생성(HNG)을 추가하면 성능이 더욱 향상되어, CIFAR-100에서 +17.2%p의 정확도 향상과 CIFAR-10에서 +5.5%p의 유지가 이루어진다.
• 최적의 의사 양성 샘플 수는 |M|/C^u의 약 절반으로, CIFAR-100의 경우 |M|=2000, C^u=20이므로 k1=50이 된다.
• 최적의 성능는 증강 양성 샘플 손실에 대해 α=0.2의 가중치를 사용할 때 달성되며, HNG의 경우 N=5회 반복 및 k2=400개의 음성 샘플을 사용할 때 최고 성능를 기록한다.
• 이 방법은 최신 기술 수준의 결과를 달성하여, CIFAR-100 및 ImageNet 벤치마크에서 기존 SOTA 방법들을 크게 앞서 간다.