[논문 리뷰] Auto-clustering Output Layer: Automatic Learning of Latent Annotations in Neural Networks

Ozsel Kilinc, Ismail Uysal|arXiv (Cornell University)|2017. 02. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 18인용 수 4

한 줄 요약

이 논문은 부분적 감독 하에서 조잡한 부모 클래스 레이블만 제공되지만 세밀한 잠재 하위클래스를 발견해야 하는 상황에서, 동시에 지도 학습 분류와 비지도 학습 군집화를 가능하게 하는 새로운 신경망 출력층인 Auto-clustering Output Layer(ACOL)을 제안한다. 각 부모 클래스별로 소프트맥스 노드를 복제하고 그래프 기반 활동 정규화(GAR)를 적용함으로써, 명시적 레이블 없이도 하위클래스 구조를 학습할 수 있으며, MNIST, SVHN, CIFAR-100에서 최고 수준의 군집 정확도를 달성한다.

ABSTRACT

In this paper, we discuss a different type of semi-supervised setting: a coarse level of labeling is available for all observations but the model has to learn a fine level of latent annotation for each one of them. Problems in this setting are likely to be encountered in many domains such as text categorization, protein function prediction, image classification as well as in exploratory scientific studies such as medical and genomics research. We consider this setting as simultaneously performed supervised classification (per the available coarse labels) and unsupervised clustering (within each one of the coarse labels) and propose a novel output layer modification called auto-clustering output layer (ACOL) that allows concurrent classification and clustering based on Graph-based Activity Regularization (GAR) technique. As the proposed output layer modification duplicates the softmax nodes at the output layer for each class, GAR allows for competitive learning between these duplicates on a traditional error-correction learning framework to ultimately enable a neural network to learn the latent annotations in this partially supervised setup. We demonstrate how the coarse label supervision impacts performance and helps propagate useful clustering information between sub-classes. Comparative tests on three of the most popular image datasets MNIST, SVHN and CIFAR-100 rigorously demonstrate the effectiveness and competitiveness of the proposed approach.

연구 동기 및 목표

• 오직 조잡한 부모 클래스 레이블만 제공되는 새로운 준지도 학습 설정을 해결하기 위해.
• 명시적 하위클래스 레이블 없이도 신경망이 동시에 부모 클래스에 대한 지도 학습 분류와 부모 클래스 내에서의 비지도 군집화를 수행할 수 있도록 하기 위해.
• 부모 클래스 감독만을 사용하여도 자동으로 하위클래스 구조를 학습할 수 있는 확장성 있고 엔드 투 엔드로 트레이닝 가능한 프레임워크를 개발하기 위해.
• 표준 이미지 벤치마크에서 제안된 방법의 효과성을 입증하여, 조잡한 감독이 하위클래스 발견에 어떻게 기여하는지 보여주기 위해.

제안 방법

• 각 부모 클래스에 대해 출력층에서 소프트맥스 노드를 복제함으로써, 하나의 부모 클래스당 여러 하위클러스터를 가능하게 하는 Auto-clustering Output Layer(ACOL)을 제안한다.
• 복제된 소프트맥스 노드 간의 경쟁과 특화를 유도하기 위해 그래프 기반 활동 정규화(GAR)를 도입한다.
• 부모 클래스 분류를 위한 교차 엔트로피 손실과 하위클러스터 발견을 위한 GAR 기반 정규화를 조합한 공동 목적 함수를 제안한다.
• 표준 백프로파게이션을 사용하여 네트워크를 학습하며, GAR 항목이 각 부모 클래스 내에서 별개의 잠재 레이블을 학습하도록 이끈다.
• 학습된 하위클러스터 구조의 정성적 검증을 위해 t-SNE 시각화를 사용한다.
• 테스트 세트에서 비지도 군집 정확도를 측정하여 k-means, GMM, 오토에인코더 기반 기준 방법들과 비교 평가한다.

실험 결과

연구 질문

• RQ1 오직 조잡한 부모 클래스 레이블만 제공될 때 신경망이 세밀한 잠재 하위클래스를 학습할 수 있는가?
• RQ2 그래프 기반 활동 정규화(GAR)는 복제된 소프트맥스 노드의 특화를 어떻게 향상시켜 하위클러스터 발견에 기여하는가?
• RQ3 조잡한 부모 클래스 감독은 얼마나 하위클래스 발견의 품질을 향상시키는가?
• RQ4 명시적 하위레이블 없이도 ACOL은 전통적 군집화 및 오토에인코더 기반 방법과 비교해 어떤가?
• RQ5 CIFAR-100처럼 부모 클래스 일반화가 열악할 경우, 하위클러스터 학습 성능이 떨어지는가?

주요 결과

• MNIST와 SVHN에서 ACOL은 각각 k=5일 때 36.90%의 테스트 오차, k=10일 때 21.66%의 테스트 오차를 기록하여 k-means, GMM, 오토에인코더 기반 기준 방법들을 능가했다.
• 20개의 슈퍼클래스를 가진 CIFAR-100에서 ACOL은 k=5일 때 학습 오차 44.64%와 테스트 오차 62.17%를 기록했으며, 이는 부모 클래스 분류의 일반화 능력이 열악하기 때문에 성능이 제한된다는 것을 보여주었다.
• t-SNE 시각화를 통해 확인된 바, 모델은 의미 있는 하위클러스터 구조를 학습했으며, 부모 클래스 내에서 명확한 분리가 이루어졌다.
• GAR 정규화가 복제된 소프트맥스 노드 간의 경쟁을 효과적으로 이끌어내어 특화된 하위클러스터 표현을 도출했다.
• 부모 클래스 감독은 하위클러스터 발견에 상당한 기여를 하였으며, 특히 네트워크가 테스트 세트로 잘 일반화될 경우 더욱 두드러졌다.
• ACOL은 다양한 벤치마크에서 뛰어난 강건성과 경쟁력을 보이며, 이 부분적 감독 군집 설정에서 새로운 최고 수준의 성능을 확립했다.