[논문 리뷰] ClusterFit: Improving Generalization of Visual Representations

Xueting Yan, Ishan Misra외 3명|arXiv (Cornell University)|2019. 12. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 65인용 수 6

한 줄 요약

ClusterFit는 사전 훈련된 모델의 특징을 군집화하고 이러한 군집 할당을 가짜 레이블로 사용해 새로운 네트워크를 미세조정하는 단순한 후행 처리 방법이다. 이는 추가 데이터나 감독 없이도 11개의 다양한 이미지 및 비디오 벤치마크에서 성능을 크게 향상시키며, 최대 9%의 상대적 정확도 향상을 달성한다.

ABSTRACT

Pre-training convolutional neural networks with weakly-supervised and self-supervised strategies is becoming increasingly popular for several computer vision tasks. However, due to the lack of strong discriminative signals, these learned representations may overfit to the pre-training objective (e.g., hashtag prediction) and not generalize well to downstream tasks. In this work, we present a simple strategy - ClusterFit (CF) to improve the robustness of the visual representations learned during pre-training. Given a dataset, we (a) cluster its features extracted from a pre-trained network using k-means and (b) re-train a new network from scratch on this dataset using cluster assignments as pseudo-labels. We empirically show that clustering helps reduce the pre-training task-specific information from the extracted features thereby minimizing overfitting to the same. Our approach is extensible to different pre-training frameworks -- weak- and self-supervised, modalities -- images and videos, and pre-training tasks -- object and action classification. Through extensive transfer learning experiments on 11 different target datasets of varied vocabularies and granularities, we show that ClusterFit significantly improves the representation quality compared to the state-of-the-art large-scale (millions / billions) weakly-supervised image and video models and self-supervised image models.

연구 동기 및 목표

• 약한 감독 및 자기감독 사전 훈련에서 모델이 보조 목표에서 유도된 특징을 학습하고 일반적인 시각적 불변성을 배우지 못하는 오버피팅 문제를 해결하기 위해.
• 비감독 군집화를 통해 특징 공간을 매끄럽게 함으로써 시각적 표현의 이식 가능성 향상하기 위해.
• 이미지, 비디오 및 다양한 사전 훈련 프레임워크(약한 감독 및 자기감독)에 적용 가능한 확장성 있고 아키텍처에 종속되지 않는 방법 개발하기 위해.
• 사후 군집화와 재훈련이 복잡한 사전 훈련 목표를 능가할 수 있음을 보여주기 위해, 심지어 대규모 모델에서도 성능이 뛰어나게.
• 사전 훈련에서 고비용의 수동으로 설계된 레이블 공간을 간단한 비감독 군집화 단계로 대체할 수 있음을 보여주기 위해.

제안 방법

• 사전 훈련된 모델을 사용해 새로운 데이터셋에서 사전 훈련된 네트워크의 특징을 추출하기 위해.
• 추출된 특징에 k-means 군집화를 적용해 유사한 샘플을 군집으로 묶기 위해.
• 결과로 얻은 군집 할당을 가짜 레이블로 사용해 새로운 네트워크를 처음부터 훈련하기 위해.
• 군집 가짜 레이블을 기반으로 표준 교차 엔트로피 손실을 사용해 새로운 네트워크를 훈련함으로써 더 매끄럽고 일반화 능력이 뛰어난 특징 공간을 학습하기 위해.
• 군집화 단계는 보조 목표에 종속된 특징을 제거하면서도 시각적 일관성을 유지하는 손실 압축 역할을 한다.
• 이 방법은 모델 아키텍처, 모odal(이미지/비디오), 사전 훈련 목표에 관계없이 적용 가능하므로 광범위한 적용성을 가진다.

실험 결과

연구 질문

• RQ1 사전 훈련된 모델의 특징을 사후에 군집화하면 시각적 표현의 일반화가 향상되는가?
• RQ2 군집화를 통해 보조 목표에 종속된 특징을 제거하면 다운스트림 작업에서의 이식 성능이 향상되는가?
• RQ3 다양한 데이터셋과 모달리티에서 상태 기술의 대규모 약한 감독 및 자기감독 모델과 비교해 ClusterFit는 어떻게 성능을 내는가?
• RQ4 군집 기반 사전 훈련에서 가짜 레이블 공간의 다양성과 해상도가 효과에 미치는 영향은 무엇인가?
• RQ5 간단한 비감독 군집화 단계가 사전 훈련에서 복잡한 수동으로 설계된 레이블 공간을 대체할 수 있는가?

주요 결과

• 자기감독 모델에 적용했을 때, ClusterFit는 ImageNet-1K에서 최대 9%의 Top-1 정확도 향상을 기록했고, ImageNet-1K에서 7-9% 향상되었다.
• 10억 장의 이미지에 대해 1,500개 해시태그를 사용한 약한 감독 사전 훈련에서, ClusterFit는 ImageNet-9K에서 4.6% 향상되었고, iNaturalist에서는 5.8% 향상되었다.
• 1,900만 개의 비디오와 438개 해시태그를 사용한 비디오 사전 훈련에서, ClusterFit는 Kinetics에서 3.2% 향상되었고, Sports1M에서는 4.3% 향상되었다.
• 사전 훈련에서 가장 빈도가 높은 100개의 동사만 사용했을 때, ClusterFit는 전체 438개 동사 모델의 성능에 2% 이내로 근접했으며, 원래의 약한 감독 모델보다 성능이 뛰어났다.
• 이 방법은 이미지 및 비디오 데이터셋을 포함한 11개의 다양한 벤치마크에서 일관되게 성능 향상을 보였으며, 다양한 어휘와 해상도를 가진 데이터셋에서도 성능 향상이 뚜렷했다.
• 추가 데이터, 감독, 아키텍처 변경 없이도 성능 향상이 달성되었으며, 이는 군집화를 통한 특징 공간의 매끄럽게 다듬음이 효과적임을 입증한다.