[논문 리뷰] Semi-supervised Clustering for Short Text via Deep Representation Learning

Zhiguo Wang, Haitao Mi외 1명|arXiv (Cornell University)|2016. 02. 22.

Topic Modeling참고 문헌 18인용 수 11

한 줄 요약

이 논문은 짧은 텍스트를 위한 준지도 학습 클러스터링 프레임워크를 제안하며, 소량의 레이블된 데이터를 사용하여 딥 네ural 네트워크 표현 학습과 k-means 클러스터링을 공동으로 최적화한다. 레이블된 데이터를 클러스터 할당, 중심점 갱신, 신경망 개선의 반복 과정을 거치는 통합 목적 함수에 통합함으로써, 네 가지 짧은 텍스트 데이터셋에서 비지도 및 지도 학습 기반 방법보다 클러스터링 성능을 크게 향상시켰으며, 준지도 학습 CNN 변형은 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

In this work, we propose a semi-supervised method for short text clustering, where we represent texts as distributed vectors with neural networks, and use a small amount of labeled data to specify our intention for clustering. We design a novel objective to combine the representation learning process and the k-means clustering process together, and optimize the objective with both labeled data and unlabeled data iteratively until convergence through three steps: (1) assign each short text to its nearest centroid based on its representation from the current neural networks; (2) re-estimate the cluster centroids based on cluster assignments from step (1); (3) update neural networks according to the objective by keeping centroids and cluster assignments fixed. Experimental results on four datasets show that our method works significantly better than several other text clustering methods.

연구 동기 및 목표

• 비지도 방법을 사용할 경우 발생하는 어휘적 희소성 문제와 의도 명시 부족 문제를 해결하기 위해.
• 제한된 레이블된 데이터를 클러스터링 과정에 통합하여 사용자가 정의한 의도에 따라 클러스터 형성에 유도하기 위해.
• 딥 표현 학습과 클러스터링을 하나의 종단 간 최적화 프레임워크로 통합하기 위해.
• 레이블된 데이터와 레이블이 없는 데이터를 공동 학습 과정에서 활용함으로써 짧은 텍스트의 클러스터링 품질을 향상시키기 위해.
• 딥 신경망(CNN/LSTM)이 전통적인 벡터 표현(TF-IDF, bag-of-words)보다 준지도 학습 짧은 텍스트 클러스터링에서 우수한 성능을 보이는지 확인하기 위해.

제안 방법

• 사전 학습된 임베딩을 사용하여 각 짧은 텍스트를 밀도 높은 단어 벡터의 시퀀스로 표현하기.
• 단어 벡터 시퀀스에서 고정 크기의 텍스트 표현을 학습하기 위해 두 가지 딥 네ural 네트워크 아키텍처(CNN 및 LSTM)를 활용하기.
• 클러스터링 손실와 레이블된 데이터로부터 유도된 페널티 항을 결합한 통합 목적 함수 정의하기.
• 세 단계로 반복적으로 목적 함수 최적화하기: (1) 현재 신경망 표현 기반으로 텍스트를 가장 가까운 중심점에 할당하기, (2) 할당 결과로부터 중심점 재추정하기, (3) 중심점과 할당을 고정한 채로 신경망 파rameter 업데이트하기.
• 레이블된 데이터를 사용하여 클러스터링 목적 함수를 제약함으로써, 학습된 표현이 사용자가 지정한 클러스터 의도와 일치하도록 유도하기.
• 수렴할 때까지 반복적으로 최적화 루프를 도는 방식으로, 레이블된 데이터와 레이블이 없는 데이터를 종합적으로 사용해 모델을 종단 간으로 훈련하기.

실험 결과

연구 질문

• RQ1 딥 표현 학습과 클러스터링의 공동 최적화가 기존의 비지도 방법을 뛰어넘어 짧은 텍스트 클러스터링 성능을 향상시킬 수 있는가?
• RQ2 소량의 레이블된 데이터를 클러스터링 목적 함수에 통합함으로써 짧은 텍스트의 클러스터 형성에 얼마나 효과적으로 유도할 수 있는가?
• RQ3 딥 신경망(CNN/LSTM)을 텍스트 인코더로 사용할 경우, 전통적인 벡터 표현(예: TF-IDF, bag-of-words)보다 준지도 학습 짧은 텍스트 클러스터링에서 성능이 뛰어나게 되는가?
• RQ4 제안된 방법은 기준 클러스터링 시스템에 비해 클러스터 경계의 명확성과 분리도를 어느 정도 향상시키는가?
• RQ5 표현 학습과 클러스터링을 분리한 기존 준지도 학습 클러스터링 방법보다 제안된 프레임워크가 더 효과적인가?

주요 결과

• CNN 표현을 사용한 제안된 준지도 학습 클러스터링 방법(semi-cnn)이 평가된 네 가지 데이터셋 전반에서 최고의 성능을 기록하였다.
• Bag-of-words 및 TF-IDF 표현을 사용한 비지도 기반 방법보다 상당히 뛰어난 성능을 보였다.
• 메트릭 학습 기반 지도 학습 방법보다 딥 러닝 표현 학습 기반 준지도 학습 접근법이 승리하였으며, 이는 비선형 표현 학습의 우수성을 시사한다.
• 시각화 결과 제안된 방법을 통해 클러스터 경계가 비지도 또는 순수 표현 기반 접근법에 비해 훨씬 명확해졌음을 확인하였다.
• 반복 최적화 과정이 수렴하여, 특히 레이블된 데이터가 클러스터링 목적 함수를 유도함으로써 더 일관되고 의도에 부합하는 클러스터를 생성하였다.
• 질의 유형 및 제품 리뷰 데이터를 포함한 다양한 짧은 텍스트 데이터셋에서 높은 강인성을 보였다.