[논문 리뷰] Joint Unsupervised Learning of Deep Representations and Image Clusters

Jianwei Yang, Devi Parikh외 1명|arXiv (Cornell University)|2016. 04. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 145

한 줄 요약

순환 프레임워크로, forward pass에서 클러스터링을, backward pass에서 표현 학습을 교대로 수행하며 무감독 방식으로 딥 CNN 표현과 이미지 클러스터를 함께 학습하고 가중 트리플렛 손실로 최적화한다.

ABSTRACT

In this paper, we propose a recurrent framework for Joint Unsupervised LEarning (JULE) of deep representations and image clusters. In our framework, successive operations in a clustering algorithm are expressed as steps in a recurrent process, stacked on top of representations output by a Convolutional Neural Network (CNN). During training, image clusters and representations are updated jointly: image clustering is conducted in the forward pass, while representation learning in the backward pass. Our key idea behind this framework is that good representations are beneficial to image clustering and clustering results provide supervisory signals to representation learning. By integrating two processes into a single model with a unified weighted triplet loss and optimizing it end-to-end, we can obtain not only more powerful representations, but also more precise image clusters. Extensive experiments show that our method outperforms the state-of-the-art on image clustering across a variety of image datasets. Moreover, the learned representations generalize well when transferred to other tasks.

연구 동기 및 목표

• 레이블 없이 공동 클러스터링을 통해 표현의 무감독 학습을 촉진한다.
• 깊은 표현 학습과 계층적(응집적) 클러스터링을 통합하는 순환 프레임워크를 개발한다.
• 클러스터링과 표현 학습을 모두 엔드-투-엔드 방식으로 안내하는 단일 손실을 도출한다.
• 데이터셋 간에 더 우수한 클러스터링 성능과 전달 가능한 표현을 시연한다.

제안 방법

• 이미지를 CNN으로 표현하여 클러스터링에 사용할 심층 특징을 얻는다.
• 응집적 클러스터링을 순방향 패스의 순환 프로세스로 구성하여 시간 스텝에 걸쳐 클러스터를 합친다.
• 방향 친화 그래프를 정의하고 그래프 차수 연결(Graph Degree Linkage)을 사용해 클러스터 친화를 측정한다.
• 클러스터 친화도와 국소 구조를 결합한 가중 트리플렛 손실을 도입하여 학습을 유도한다.
• 일부가 펼쳐진 기간동안 훈련하며 순방향(클러스터링)과 역방향(표현 학습) 패스를 교대로 수행한다.
• 기간별 목표를 합산한 총 손실을 최적화하여 엔드-투-엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 깊은 표현과 이미지 클러스터의 공동 무감독 학습이 고정 표현 클러스터링 방법을 능가할 수 있는가?
• RQ2 학습된 표현이 데이터셋과 클러스터링 알고리즘 간에 전달되면서 클러스터링 품질을 유지하거나 향상시키는가?
• RQ3 클러스터링 손실에 지역적 클러스터 구조를 포함시키는 것이 최적화와 결과에 어떤 영향을 미치는가?
• RQ4 레이블 없이도 얼굴 검증 및 이미지 분류와 같은 다운스트림 태스크의 성능을 개선하는가?
• RQ5 응집적 클러스터링이 순환형 딥러닝 프레임워크에 통합되기에 적합한가?

주요 결과

• 공동 접근 방식은 NMI를 지표로 여러 데이터세트에서 최첨단 클러스터링 방법을 능가한다.
• 학습된 표현은 클러스터링 알고리즘 간에 전달되며 다양한 데이터세트에서 성능을 향상시킨다.
• COIL20 및 CMU-PIE에서 보고된 결과에서 이 방법은 완벽한 NMI(1.0)를 달성한다.
• 학습된 표현은 무감독 학습 설정하에서 LFW의 얼굴 검증에 대해 경쟁력 있거나 더 우수한 성능을 가능하게 한다.
• 전이 실험은 한 데이터셋의 표현을 다른 데이터셋에서 사용할 때 교차 데이터세트 클러스터링이 향상됨을 보여준다.
• 해당 프레임워크는 무감독 학습으로 이미지 분류 파이프라인도 지원하는 전달 가능한 표현을 생성한다.