[논문 리뷰] Semi-crowdsourced Clustering with Deep Generative Models

Yucen Luo, Tian Tian외 3명|arXiv (Cornell University)|2018. 10. 29.

Anomaly Detection Techniques and Applications참고 문헌 26인용 수 7

한 줄 요약

이 논문은 원시 데이터 표현을 위한 딥 생성 모델(DGM)과 일부 데이터에 대한 노이즈가 있는 쌍별 커뮤니티 레이블을 위한 통계적 관계 모델을 결합한 공동 모델인 반-커뮤니티 기반 딥 클러스터링(SCDC)을 제안한다. 이는 암시적 DGM 학습과 변분 메시지 전파를 통합하기 위해 빠른 자연계수 경량 스토케스틱 변분 추론을 사용하여, 최소한의 인간 레이블링과 완전 베이지안 변형을 통한 자동 복잡도 제어를 통해 MNIST 및 CIFAR-10에서 최신 기술 수준의 클러스터링 성능을 달성한다.

ABSTRACT

We consider the semi-supervised clustering problem where crowdsourcing provides noisy information about the pairwise comparisons on a small subset of data, i.e., whether a sample pair is in the same cluster. We propose a new approach that includes a deep generative model (DGM) to characterize low-level features of the data, and a statistical relational model for noisy pairwise annotations on its subset. The two parts share the latent variables. To make the model automatically trade-off between its complexity and fitting data, we also develop its fully Bayesian variant. The challenge of inference is addressed by fast (natural-gradient) stochastic variational inference algorithms, where we effectively combine variational message passing for the relational part and amortized learning of the DGM under a unified framework. Empirical results on synthetic and real-world datasets show that our model outperforms previous crowdsourced clustering methods.

연구 동기 및 목표

• 기존 커뮤니티 기반 클러스터링 방법이 저수준 특징에 의존하고 작업자 노이즈 및 변동성을 忽시하는 한계를 해결하기 위해.
• 최소한의 쌍별 애너테이션을 사용하면서도 고정밀 클러스터링 정확도를 유지하기 위해 레이블링 비용을 줄이기 위해.
• 공유 잠재 변수를 통한 원시 데이터와 노이즈가 있는 커뮤니티 레이블을 공동으로 모델링하여 엔드 투 엔드 학습을 가능하게 하기 위해.
• 수동 튜닝 없이 모델 복잡도를 자동으로 제어할 수 있는 완전 베이지안 변형을 개발하기 위해.
• 암시적 DGM 학습과 변분 메시지 전파를 통합한 통합 프레임워크를 통해 효율적인 추론을 가능하게 하기 위해.

제안 방법

• 모델은 원시 데이터에서 계층적이고 비선형적인 표현을 학습하기 위해 딥 생성 모델(DGM)을 사용하며, 이는 ${\bm{\gamma}}$로 매개변수화되며 관측된 데이터 $\mathbf{o}_n$은 잠재 요인 $\mathbf{x}_n$으로부터 생성된다.
• 혼합 정규분포 모델은 이산 잠재 변수 $\mathbf{z}_n$을 통해 클러스터 소속을 정의하며, 클러스터 평균 $\bm{\mu}$와 공분산 $\bm{\Sigma}$, 혼합 비율 $\bm{\pi}$를 포함한다.
• 커뮤니티 기반의 쌍별 레이블 $\mathbf{L}$은 작업자별 정확도 ($\bm{\alpha}, \bm{\beta}$)와 선호도를 고려하는 통계적 관계 모델을 통해 모델링된다.
• DGM과 관계 모델은 동일한 잠재 변수 $\mathbf{z}_n$을 공유하여 공동 추론과 엔드 투 엔드 학습을 가능하게 한다.
• 완전 베이지안 변형은 $\bm{\alpha}, \bm{\beta}, \bm{\pi}$에 공액 사전분포를 도입함으로써 자동으로 모델 복잡도를 제어할 수 있도록 한다.
• 공액 부분에 대한 자연계수 업데이트와 비공액 DGM 구성요소에 대한 암시적 추론을 결합한 통합 스토케스틱 변분 추론 프레임워크를 통해 빠른 추론을 달성한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 쌍별 커뮤니티 애너테이션과 함께 딥 생성 모델을 사용할 경우 클러스터링 성능이 향상되는가?
• RQ2 공유 잠재 변수는 반-감독 설정에서 원시 데이터 모델링과 노이즈가 있는 레이블 모델링을 효과적으로 통합할 수 있는가?
• RQ3 모델의 완전 베이지안 변형은 수동 하이퍼파rameter 튜닝 없이도 자동으로 복잡도를 제어하고 과적합을 방지할 수 있는가?
• RQ4 제안된 추론 프레임워크는 변분 메시지 전파를 위한 관계 구성요소와 암시적 DGM 학습 간의 균형을 어떻게 유지하는가?
• RQ5 기존 방법과 비교해 볼 때, 이 모델은 클러스터링 정확도를 유지하거나 향상시키면서 레이블링 비용을 얼마나 줄일 수 있는가?

주요 결과

• MNIST에서 BayesSCDC는 노이즈가 있는 애너테이션을 사용하여 84.24%의 클러스터링 정확도와 0.8120의 NMI를 달성했으며, SCDC(81.87% 정확도, 0.7657 NMI)와 기본 모델보다 뚜렷이 뛰어났다.
• BayesSCDC는 클러스터 수에 비례하는 선형 스케일링을 피함으로써 에포크당 학습 시간을 201.7초에서 16.4초로 단축시켜 계산 효율성을 입증했다.
• CIFAR-10에서 애너테이션을 사용한 SCDC는 50.09%의 정확도와 0.5549의 NMI를 기록했으며, 이는 애너테이션 없이 얻은 14.23% 정확도와 0.0424의 NMI보다 상당한 향상이다.
• 완전 베이지안 변형(BayesSCDC)은 학습 중에 클러스터 수를 자동으로 결정했으며, 시간에 따른 클러스터 비율 시각화를 통해 이를 확인할 수 있었다.
• 모델 성능은 여러 랜덤 초기화에 대해 안정적이었으며 결과의 분산이 낮아 안정적인 최적화를 보였다.
• 제안된 추론 프레임워크는 변분 메시지 전파와 암시적 학습을 성공적으로 통합하여 복잡한 데이터에서 확장 가능하고 정확한 공동 추론을 가능하게 했다.