[논문 리뷰] Deep Clustering using Auto-Clustering Output Layer.

Ozsel Kilinc, Ismail Uysal|arXiv (Cornell University)|2017. 02. 28.

Domain Adaptation and Few-Shot Learning인용 수 1

한 줄 요약

이 논문은 부분적으로 레이블링된 설정에서 모든 샘플에 대해 굵은 레이블은 제공되지만 세밀한 잠재 레이블이 필요할 때, 함께 감독 분류와 비감독 클러스터링을 수행할 수 있는 새로운 신경망 출력층인 자동 클러스터링 출력층(ACOL)을 제안한다. 각 클래스별로 소프트맥스 노드를 복제하고 그래프 기반 활성도 정규화를 적용함으로써, ACOL은 클러스터 간 경쟁 학습을 촉진하여 MNIST, SVHN, CIFAR-100에서 뛰어난 성능을 달성한다.

ABSTRACT

In this paper, we discuss a different type of semi-supervised setting: a coarse level of labeling is available for all observations but the model has to learn a fine level of latent annotation for each one of them. Problems in this setting are likely to be encountered in many domains such as text categorization, protein function prediction, image classification as well as in exploratory scientific studies such as medical and genomics research. We consider this setting as simultaneously performed supervised classification (per the available coarse labels) and unsupervised clustering (within each one of the coarse labels) and propose a novel output layer modification called auto-clustering output layer (ACOL) that allows concurrent classification and clustering based on Graph-based Activity Regularization (GAR) technique. As the proposed output layer modification duplicates the softmax nodes at the output layer for each class, GAR allows for competitive learning between these duplicates on a traditional error-correction learning framework to ultimately enable a neural network to learn the latent annotations in this partially supervised setup. We demonstrate how the coarse label supervision impacts performance and helps propagate useful clustering information between sub-classes. Comparative tests on three of the most popular image datasets MNIST, SVHN and CIFAR-100 rigorously demonstrate the effectiveness and competitiveness of the proposed approach.

연구 동기 및 목표

• 모든 데이터 포인트에 대해 거친 레이블만 제공될 때 세밀한 잠재 레이블을 학습하는 데 도전하는 문제를 해결한다.
• 모든 거친 클래스 내에서 거친 레이블을 사용한 동반 감독 분류와 비감독 클러스터링을 동시에 가능하게 한다.
• 이 하이브리드 학습 환경을 위한 엔드 투 엔드 훈련을 지원하는 신경망 아키텍처를 개발한다.
• 세부 클래스 간 유용한 구조를 전파하기 위해 거친 레이블 감독을 활용하여 클러스터링 품질을 향상시킨다.
• 표준 이미지 벤치마크 데이터셋에서 제안된 방법의 유효성을 입증한다.

제안 방법

• 각 거친 클래스에 대해 출력층의 소프트맥스 노드를 복제하는 자동 클러스터링 출력층(ACOL)을 도입한다.
• 복제된 소프트맥스 노드 간의 경쟁 학습을 장려하기 위해 그래프 기반 활성도 정규화(GAR)를 적용한다.
• 분류 및 클러스터링 목적을 모두 수반하는 전통적인 오류 보정 학습 프레임워크를 사용해 네트워크를 훈련시킨다.
• 은닉 표현 위에 그래프를 구축하여 복제된 출력 노드의 활성도 패턴을 정규화한다.
• 분류 손실과 GAR 기반 클러스터링 정규화를 포함하는 병합된 손실 함수를 최적화하여 네트워크를 최적화한다.
• 엔드 투 엔드 백프로파게이션을 통해 각 거친 클래스 내에서 세밀한 클러스터 구조를 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 거친 레이블만 제공될 때 신경망이 세밀한 잠재 클러스터 구조를 효과적으로 학습할 수 있는가?
• RQ2 거친 레이블 감독은 각 클래스 내 비감독 클러스터링 품질을 어떻게 향상시키는가?
• RQ3 제안된 ACOL 레이어는 표준 분류 또는 클러스터링 전용 접근 방식에 비해 클러스터링 성능을 얼마나 향상시키는가?
• RQ4 그래프 기반 활성도 정규화(GAR) 메커니즘은 복제된 출력 노드 간의 경쟁 학습을 성공적으로 촉진하는가?
• RQ5 이 방법은 MNIST, SVHN, CIFAR-100과 같은 다양한 이미지 데이터셋 간에 어떻게 일반화되는가?

주요 결과

• 제안된 ACOL 방법은 MNIST, SVHN, CIFAR-100에서 경쟁적인 성능을 달성하여 다양한 데이터셋 간 강력한 일반화 능력을 보였다.
• 거친 레이블 감독은 세부 클래스 간 정보 전파를 가능하게 하여 클러스터링 품질을 크게 향상시켰다.
• 그래프 기반 활성도 정규화(GAR) 기법은 복제된 소프트맥스 노드 간의 경쟁 학습을 성공적으로 유도하여 더 나은 클러스터 분리 성능을 이끌어냈다.
• 부분적으로 레이블링된 환경에서 분류와 클러스터링을 동시에 학습하는 하이브리드 프레임워크는 표준 감독 및 비감독 기반 베이스라인을 능가하는 성능을 보였다.
• 훈련 중에 명시적인 세밀한 레이블이 제공되지 않더라도, 이 방법은 세밀한 잠재 레이블을 효과적으로 학습할 수 있었다.
• 결과적으로 ACOL 레이어는 출력층 복제 외에 추가적인 아키텍처 복잡성 없이도 모델의 클러스터링 능력을 향상시켰다.