[논문 리뷰] Deep Amortized Clustering

Juho Lee, Yoonho Lee외 1명|arXiv (Cornell University)|2019. 09. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 13

한 줄 요약

딥 암표러티드 클러스터링(DAC)은 아웃풋 인퍼런스를 통해 데이터를 효율적으로 클러스터링하는 뉴럴 네트워크 프레임워크로, 세트-트랜스포머 아키텍처를 사용해 한 번의 순서 없음 데이터 포인트 처리를 통해 하나의 클러스터를 식별한다. DAC는 레이블이 지정된 훈련 데이터셋에서 클러스터 정의를 메타-학습하여, 반복적 방법에 비해 수개의 순서로 더 빠른 인퍼런스를 달성하면서도 사전 지식 없이도 클러스터 수를 정확하게 추정한다. 이는 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

We propose a deep amortized clustering (DAC), a neural architecture which learns to cluster datasets efficiently using a few forward passes. DAC implicitly learns what makes a cluster, how to group data points into clusters, and how to count the number of clusters in datasets. DAC is meta-learned using labelled datasets for training, a process distinct from traditional clustering algorithms which usually require hand-specified prior knowledge about cluster shapes/structures. We empirically show, on both synthetic and image data, that DAC can efficiently and accurately cluster new datasets coming from the same distribution used to generate training datasets.

연구 동기 및 목표

• 데이터로부터 클러스터 정의를 암묵적으로 학습하는 클러스터링 방법을 개발하여, 클러스터 형태나 수에 대한 수작업으로 지정된 가정을 피하는 것.
• 반복 최적화 기반 방법과는 달리, 뉴럴 네트워크를 통한 몇 번의 순방향 전파만으로도 빠르고 효율적인 클러스터링을 가능하게 하는 것.
• 동일한 분포에서의 새로운 데이터셋에 일반화할 수 있도록 하여, 지도 학습 없이도 클러스터 수를 추정하는 것.
• 데이터를 병렬 처리함으로써 순차적 또는 반복적 클러스터링 접근 방식보다 확장성과 성능을 향상시키는 것.
• Omniglot과 같이 실제 이미지 벤치마크에서 효과를 입증하며, 최소한의 계산으로 최신 기술 수준(SOTA)에 도달하거나 이를 초월하는 것.

제안 방법

• DAC는 다중 헤드 어텐션을 사용한 세트-트랜스포머 아키텍처를 활용해 입력 데이터를 순열 불변 방식으로 처리함으로써, 순서가 없는 데이터 포인트에 대한 강력한 클러스터링을 가능하게 한다.
• 모델은 한 번의 순방향 전파당 하나의 클러스터를 식별하며, 데이터 포인트에 주목하고 클러스터 프로토타입을 생성함으로써, 데이터셋의 복잡성에 따라 가변적인 수의 클러스터를 발견할 수 있다.
• 필터링 메커니즘이 부드러운 클러스터 소속 확률을 이산화시켜, 몇 번의 순방향 전파 후에 결정론적인 클러스터 할당을 생성한다.
• 네트워크는 지식이 있는 지정된 클러스터링이 있는 합성 데이터셋에서 메타-학습을 통해 훈련되어, 새로운 미리보지 않은 데이터셋으로의 일반화를 가능하게 한다.
• 별도의 헤드가 풀링된 표현을 사용해 클러스터 수($k$)를 추정함으로써, 알려지지 않은 클러스터 수에 대한 강건성을 향상시킨다.
• 엔드 투 엔드 훈련과 인퍼런스를 지원하며, 대규모 벤치마크에서도 데이터셋당 몇 초 내외로 인퍼런스 시간을 측정할 수 있다.

실험 결과

연구 질문

• RQ1 뉴럴 네트워크는 클러스터 형태나 수에 대한 사전 가정 없이 데이터를 효율적으로 클러스터링할 수 있는가?
• RQ2 딥 러닝 기반 아웃풋 인퍼런스는 기존의 반복적 클러스터링 알고리즘에 비해 속도와 정확도 면에서 뛰어나게 작용할 수 있는가?
• RQ3 합성 데이터에서 훈련된 모델은 Omniglot과 같은 실제 이미지 데이터셋으로 일반화되어 효과적으로 작동할 수 있는가?
• RQ4 지도 학습 없이도 딥 네트워크가 클러스터 수($k$)를 얼마나 정확하게 추정할 수 있는가?
• RQ5 순차적 클러스터 식별 접근 방식은 병렬 또는 반복적 방법에 비해 더 나은 확장성과 일반화 성능을 제공하는가?

주요 결과

• 합성 데이터에서 DAC는 테스트된 모든 방법 중에서 가장 높은 클러스터링 정확도를 달성했으며, KCL 및 MCL와 같은 반복 기반 기준선에 비해 훨씬 더 빠른 인퍼런스 시간을 기록했다.
• Omniglot 벤치마크에서 DAC는 진짜 클러스터 수가 주어지지 않은 상태에서 NMI(정규화 상호정보량) 0.829를 달성했으며, 비학습 기반 기준선을 초월하고 계산 자원을 훨씬 적게 사용해 최신 기술 수준(SOTA)에 도달했다.
• Omniglot 데이터셋에서 DAC는 평균 절대 오차(k-MAE) 4.6을 기록했으며, KCL(6.4)와 MCL(5.1)를 모두 능가했다.
• DAC는 평균적으로 데이터셋당 4.3초가 소요되었으며, KCL 및 MCL는 120초 이상 소요되어, 인퍼런스 속도 면에서 수개의 순서로 더 빠른 것을 입증했다.
• 모델의 성능는 훈련 시 사용한 다양한 합성 분포에서의 일반화 능력이 뛰어나, 새로운 이미지 클래스에 대해 테스트한 경우에도 강건하게 유지되었다.
• VGG 백본에서 사전 학습된 특징은 뛰어난 성능을 제공했지만, 소규모 데이터셋에서 엔드 투 엔드 훈련은 실패했다—이는 충분한 훈련 다양성이 필요함을 시사한다.