[논문 리뷰] Deep Clustering for Unsupervised Learning of Visual Features

Mathilde Caron, Piotr Bojanowski외 2명|arXiv (Cornell University)|2018. 07. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 73인용 수 482

한 줄 요약

DeepCluster는 k-means로 convnet 특징을 클러스터링하고 클러스터 할당을 예측하도록 네트워크를 업데이트하는 사이클을 번갈아 수행하며, 엔드-투-엔드의 비지도 특징 학습을 가능하게 하고 ImageNet, YFCC100M, Pascal VOC에서 최첨단 전이 성능을 달성한다.

ABSTRACT

Clustering is a class of unsupervised learning methods that has been extensively applied and studied in computer vision. Little work has been done to adapt it to the end-to-end training of visual features on large scale datasets. In this work, we present DeepCluster, a clustering method that jointly learns the parameters of a neural network and the cluster assignments of the resulting features. DeepCluster iteratively groups the features with a standard clustering algorithm, k-means, and uses the subsequent assignments as supervision to update the weights of the network. We apply DeepCluster to the unsupervised training of convolutional neural networks on large datasets like ImageNet and YFCC100M. The resulting model outperforms the current state of the art by a significant margin on all the standard benchmarks.

연구 동기 및 목표

• 대규모 데이터셋에서 수동 라벨 없이 보편적 시각 특징의 비지도 학습을 동기 부여한다.
• 클러스터 할당과 함께 convnet 매개변수를 공동으로 학습하는 확장 가능한 방법을 제안한다.
• 클러스터링 기반의 의사-레이블이 엔드-투-엔드 특징 학습을 감독할 수 있음을 보여준다.
• 아키텍처 선택과 데이터 분포에 대한 접근 방식의 견고함을 보여준다.
• 표준 벤치마크 및 인스턴스 수준 검색에서 전이 성능을 평가한다.

제안 방법

• f_theta를 convnet 특징 추출기로 나타내고 특징에 클러스터 라벨을 할당하기 위해 k-means를 사용한다.
• 피처를 반복적으로 클러스터링하여 의사-레이블을 얻고, 판별 손실로 이러한 의사-레이블을 예측하여 네트워크 매개변수를 업데이트한다.
• 클러스터링 전에 특징에 PCA 축소 및 정규화를 사용하고, 최적화를 위해 역전파가 포함된 표준 SGD를 적용한다.
• 빈 클러스터 처리와 작은 클러스터에서 샘플의 재가중과 같이 단순한 트릭을 도입해 자극적 해를 피한다.
• ImageNet 및 YFCC100M에서 AlexNet 및 VGG-16 아키텍처를 실험하고 필요할 때 색상을 제거하기 위해 Sobel 필터링을 적용한다.
• ImageNet/Places 분류, Pascal VOC(분류, 탐지, 분할) 및 인스턴스 검색을 포함한 다운스트림 작업에서 학습된 특징을 평가한다.

실험 결과

연구 질문

• RQ1 사람의 주석 없이 클러스터링 기반 의사-레이블에 의해 엔드-투-엔드 convnet 학습이 효과적으로 이루어질 수 있는가?
• RQ2 깊은 특징의 반복적 클러스터링이 학습 표현의 품질과 전이 가능성에 어떤 영향을 미치는가?
• RQ3 어떤 아키텍처 선택(AlexNet 대 VGG-16)과 데이터 분포(ImageNet 대 YFCC100M)이 비지도 특징 학습 성능에 영향을 미치는가?
• RQ4 자잘한 해답에 대한 방법의 견고함과 붕괴를 방지하는 전략은 무엇인가(예: 빈 클러스터, 불균형한 의사-레이블)?

주요 결과

• DeepCluster는 대규모 데이터셋에서 사전 학습한 후 표준 전이 작업에서 비지도 특징 학습 방법 중 최첨단 성능을 달성한다.
• DeepCluster와 함께 더 깊은 아키텍처(예: VGG-16)를 사용하면 전이 작업에서 AlexNet에 비해 실질적인 이점을 얻는다.
• 가공되지 않은 데이터 분포(YFCC100M)에서의 사전 학습도 강한 전이 성능을 보이며 데이터 편향에 대한 견고함을 보여준다.
• 고정된 계층에 대한 선형 프로브는 DeepCluster로 학습된 고위층 특징이 여러 작업에서 감독된 대조군과 경쟁력이 있음을 보여준다.
• DeepCluster는 Pascal VOC에서 특히 의미적 분할에서 주목할 만한 이점을 제공하고, 인스턴스 검색에서도 효과적이며 학습된 특징에서 인스턴스 수준 정보의 중요성을 강조한다.