[논문 리뷰] Learning Latent Representations in Neural Networks for Clustering through Pseudo Supervision and Graph-based Activity Regularization

Ozsel Kilinc, Ismail Uysal|arXiv (Cornell University)|2018. 02. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 18

한 줄 요약

이 논문은 도메인 특화 변환을 통한 가짜 지도 학습을 활용하여 분리된, k-means 친화적인 잠재 표현을 학습하는 새로운 비지도 군집화 방법을 제안한다. 변환(예: 회전)과 연결된 가짜 부모 클래스를 할당하고, 각 클래스당 다중 소프트맥스 헤드의 전문화를 촉진하기 위해 그래프 기반 활동 정규화(GAR)를 사용함으로써, 모델은 숨겨진 군집 구조를 발견하며, MNIST, SVHN, USPS 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

In this paper, we propose a novel unsupervised clustering approach exploiting the hidden information that is indirectly introduced through a pseudo classification objective. Specifically, we randomly assign a pseudo parent-class label to each observation which is then modified by applying the domain specific transformation associated with the assigned label. Generated pseudo observation-label pairs are subsequently used to train a neural network with Auto-clustering Output Layer (ACOL) that introduces multiple softmax nodes for each pseudo parent-class. Due to the unsupervised objective based on Graph-based Activity Regularization (GAR) terms, softmax duplicates of each parent-class are specialized as the hidden information captured through the help of domain specific transformations is propagated during training. Ultimately we obtain a k-means friendly latent representation. Furthermore, we demonstrate how the chosen transformation type impacts performance and helps propagate the latent information that is useful in revealing unknown clusters. Our results show state-of-the-art performance for unsupervised clustering tasks on MNIST, SVHN and USPS datasets, with the highest accuracies reported to date in the literature.

연구 동기 및 목표

• 명시적 지도 학습 없이 딥 네ural 네트워크에서 비지도 군집화의 과제를 해결하기 위해.
• 간접적이고 잠재적인 정보를 도메인 특화 변환을 통해 활용하여 단순한 특징 유사성 이상의 군집화를 유도하기 위해.
• 가짜 지도 학습과 비지도 정규화를 통해 분리된 군집 구조를 학습하는 방법을 개발하기 위해.
• 변환 유형이 군집화 성능에 미치는 영향을 입증하고, 특히 회전 기반 변환이 가장 효과적임을 보여주기 위해.

제안 방법

• 각 가짜 부모 클래스에 대해 소프트맥스 노드를 복제하는 자동 군집 출력 레이어(ACOL)를 도입하여 분류와 군집화를 동시에 수행할 수 있도록 한다.
• 데이터 포인트에 무작위로 가짜 부모 클래스 레이블을 할당하며, 각 레이블은 특정 도메인 특화 변환(예: 회전, 스케일링)과 연결된다.
• 각 데이터 포인트에 할당된 변환을 적용하여 학습을 위한 증강된 가짜 레이블 쌍을 생성한다.
• 동일한 부모 클래스에 속한 다중 소프트맥스 헤드의 전문화를 유도하기 위해 그래프 기반 활동 정규화(GAR)를 사용한다.
• 재구성 손실과 GAR 기반 정규화를 조합하여 네트워크를 훈련함으로써 k-means 친화적인 표현을 학습한다.
• 학습된 표현을 분석하기 위해 t-SNE 시각화와 군집 정확도 평가를 다중 데이터셋에 대해 수행한다.

실험 결과

연구 질문

• RQ1 가짜 지도 학습을 통해 도메인 특화 변환을 활용하면 딥 네럴 네트워크에서 비지도 군집화 성능을 어떻게 향상시킬 수 있는가?
• RQ2 다양한 변환 유형(예: 회전, 스케일링, 시어링)이 군집화 성능에 어떤 영향을 미치는가?
• RQ3 그래프 기반 활동 정규화는 다중 소프트맥스 헤드의 전문화를 효과적으로 유도하여 숨겨진 군집 구조를 드러내는 데에 효과적인가?
• RQ4 제안된 방법은 MNIST, SVHN, USPS와 같은 표준 벤치마크에서 최신 기준 성능을 달성하는가?

주요 결과

• 모든 여덟 개의 회전 기반 변환을 사용할 경우, 제안된 방법은 MNIST에서 98.32% (±0.08)의 군집 정확도를 달성하여 새로운 최신 기준 성능을 수립했다.
• 단지 네 개의 회전 기반 변환(90° 및 180° 회전)만을 사용해도 97.80%의 정확도를 달성하여 높은 효율성을 입증했다.
• 단일 180° 회전 변환만으로도 최신 기준 성능을 달성할 수 있었으며, 이는 회전 기반 가짜 지도 학습의 효과성을 강력히 시사한다.
• 스케일링, 시어링, 이동, 픽셀 순열보다 회전 기반 변환이 진정한 숫자 식별을 드러내는 데 훨씬 더 효과적이었다.
• t-SNE 시각화와 정량적 정확도 지표를 통해, 제안된 방법은 MNIST, SVHN, USPS에서 기존 최신 기준 방법들을 모두 능가했다.
• 가짜 부모 클래스를 생성하기 위해 사용된 변환 유형이 변환 수량보다 훨씬 더 중요하며, 특히 숫자 군집화에 있어 회전이 최적임을 확인했다.