[논문 리뷰] Meta-Learning to Cluster

Yibo Jiang, Nakul Verma|arXiv (Cornell University)|2019. 10. 30.

Machine Learning and Data Classification참고 문헌 29인용 수 4

한 줄 요약

이 논문은 수동으로 설계된 손실 함수에 의존하지 않고 직접 클러스터링을 학습할 수 있도록 순환 신경망을 훈련하는 메타학습 프레임워크를 제안한다. 다양한 합성 및 실세계 데이터셋에서 훈련함으로써, 모델은 새로운 클러스터링 작업으로 일반화되며, 특히 소규모 데이터셋과 클러스터 수가 알려지지 않은 경우 k-means와 DBSCAN과 같은 표준 벤치마크를 뛰어넘는 성능을 보인다.

ABSTRACT

Clustering is one of the most fundamental and wide-spread techniques in exploratory data analysis. Yet, the basic approach to clustering has not really changed: a practitioner hand-picks a task-specific clustering loss to optimize and fit the given data to reveal the underlying cluster structure. Some types of losses---such as k-means, or its non-linear version: kernelized k-means (centroid based), and DBSCAN (density based)---are popular choices due to their good empirical performance on a range of applications. Although every so often the clustering output using these standard losses fails to reveal the underlying structure, and the practitioner has to custom-design their own variation. In this work we take an intrinsically different approach to clustering: rather than fitting a dataset to a specific clustering loss, we train a recurrent model that learns how to cluster. The model uses as training pairs examples of datasets (as input) and its corresponding cluster identities (as output). By providing multiple types of training datasets as inputs, our model has the ability to generalize well on unseen datasets (new clustering tasks). Our experiments reveal that by training on simple synthetically generated datasets or on existing real datasets, we can achieve better clustering performance on unseen real-world datasets when compared with standard benchmark clustering techniques. Our meta clustering model works well even for small datasets where the usual deep learning models tend to perform worse.

연구 동기 및 목표

• 메타학습을 통해 직접 클러스터링을 학습하는 클러스터링 방법을 개발하여, 작업에 특화된 손실 함수에 의존하지 않도록 하는 것.
• 훈련 중에 참값 클러스터 레이블이 없는 비지도 클러스터링 문제를 해결하기 위해 합성 및 실세계 레이블이 부여된 데이터셋을 활용하는 것.
• 모델이 클러스터 수를 자동으로 추론하여 사전에 k를 지정할 필요 없이 작동하도록 하는 것.
• 딥러닝 모델이 일반적으로 성능이 저하되는 소규모 및 새로운 데이터셋에서의 클러스터링 성능을 향상시키는 것.
• 단일 메타학습된 클러스터링 정책을 사용하여 다양한 데이터 분포 간의 일반화를 입증하는 것.

제안 방법

• 모델은 데이터 포인트를 순차적으로 처리하는 순환 신경망(LSTM)을 사용하여 이전에 본 포인트들에 기반한 클러스터 할당을 위한 은닉 상태를 유지한다.
• 훈련 쌍은 입력 데이터셋과 그에 해당하는 참 클러스터 식별자를 포함하며, 클러스터링 행동의 엔드 투 엔드 학습을 가능하게 한다.
• 일반화를 촉진하기 위해 다양한 클러스터 수와 특징 차원을 가진 합성 및 실세계 데이터셋의 분포에서 훈련한다.
• 포인트 간 레이블 의존성을 처리하기 위해 LSTM의 순차적 처리 방식을 통해 맥락 인식 기반의 클러스터 할당을 보장한다.
• 실험 전반에 걸쳐 아키텍처를 동일하게 유지하고 각 작업에 대한 하이퍼파라미터 튜닝을 하지 않아 일반화 능력을 강조한다.
• 실제 데이터가 부족한 경우 성능 향상과 강건성을 높이기 위해 합성 데이터셋을 보완한다.

실험 결과

연구 질문

• RQ1 정의된 클러스터링 목표(예: k-means 또는 DBSCAN)에 의존하지 않고도 메타학습 모델이 효과적으로 클러스터링을 학습할 수 있는가?
• RQ2 합성 또는 단순한 실세계 데이터셋에서 훈련된 모델이 복잡한, 새로운 실세계 클러스터링 작업으로 얼마나 잘 일반화되는가?
• RQ3 메타학습된 모델이 사전에 k를 지정하지 않고도 올바른 클러스터 수를 추론할 수 있는가?
• RQ4 다양한 데이터셋과 클러스터 구성에서 메타클러스터링 모델의 성능이 표준 벤치마크와 비교해 어떻게 되는가?
• RQ5 표준 딥러닝 모델이 자주 실패하는 소규모 데이터셋에서도 모델이 강력한 성능을 유지하는가?

주요 결과

• 메타클러스터링 모델은 OpenML 레포지토리의 100개 테스트 데이터셋에서 가장 낮은 오차율을 기록했으며, 대부분의 설정에서 k-means, 커널 기반 k-means, DBSCAN, DEC를 능가했다.
• 합성 데이터만으로 훈련했을 경우 k=3일 때 오차율이 0.02 ± 0.01로 나타났으며, 다음으로 우수한 벤치마크(0.11 ± 0.02)보다 뚜렷이 뛰어났다.
• k=4일 경우 오차율은 0.58 ± 0.02로 감소하여 최고 성능을 보인 벤치마크에 가까워졌으며, 제한된 실세계 데이터에도 불구하고 강력한 일반화 능력을 보였다.
• k가 알려지지 않은 설정에서 메타클러스터링 모델은 k ∈ {2,3,4}일 때 오차율 0.53 ± 0.08을 기록했으며, DEC를 포함한 모든 벤치마크를 능가했다.
• 소규모 데이터셋(N=100)에서도 강건성을 보였고, 사전에 k를 지정하지 않아도 올바른 클러스터 수를 추론할 수 있었다.
• 훈련 데이터가 잘못 선택되거나 다양성이 부족할 경우 성능이 제한되었으며, 이는 메타학습에서 데이터 품질의 중요성을 강조한다.