[논문 리뷰] Deep Representation Learning for Clustering of Health Tweets

Oguzhan Gencoglu|arXiv (Cornell University)|2018. 12. 25.

Topic Modeling참고 문헌 57인용 수 4

한 줄 요약

이 논문은 건강 관련 트윗의 비지도 표현 학습을 위한 딥 컨volution 오토인코더(가우스형)를 제안하며, 기존의 bag-of-words, tf-idf, LDA, NMF와 같은 방법들보다 뛰어난 군집 성능을 달성한다. 이 방법은 Calinski-Harabasz 점수를 통해 최신 기술 수준의 군집 결과를 도출하였으며, 다음으로 우수한 베이스라인보다 18% 향상된 성능을 기록했고, 학습된 표현에 L2-노름 제약을 적용함으로써 성능을 추가로 향상시켰다.

ABSTRACT

Twitter has been a prominent social media platform for mining population-level health data and accurate clustering of health-related tweets into topics is important for extracting relevant health insights. In this work, we propose deep convolutional autoencoders for learning compact representations of health-related tweets, further to be employed in clustering. We compare our method to several conventional tweet representation methods including bag-of-words, term frequency-inverse document frequency, Latent Dirichlet Allocation and Non-negative Matrix Factorization with 3 different clustering algorithms. Our results show that the clustering performance using proposed representation learning scheme significantly outperforms that of conventional methods for all experiments of different number of clusters. In addition, we propose a constraint on the learned representations during the neural network training in order to further enhance the clustering performance. All in all, this study introduces utilization of deep neural network-based architectures, i.e., deep convolutional autoencoders, for learning informative representations of health-related tweets.

연구 동기 및 목표

• 라벨이 없는 데이터 없이 짧고 동적인 건강 관련 트윗의 비지도 군집화 문제를 해결하기 위해.
• 딥 신경망을 사용해 원시 트윗 텍스트에서 압축되고 정보가 풍부한 표현을 학습하여 군집 성능을 향상시키기 위해.
• 건강 트윗 군집화에서 전통적인 특징 추출 기법과의 비교를 통해 깊이 있는 표현 학습의 효과를 평가하기 위해.
• 학습된 표현에 L2-노름 제약이 군집 품질 향상에 미치는 영향을 조사하기 위해.

제안 방법

• 비지도 방식으로 원시 건강 관련 트윗의 저차원이고 압축된 표현을 학습하기 위해 딥 컨volution 오토인코더(CAE)를 사용한다.
• 학습 중에 잠재 표현을 정규화하고 군집 간 분리도를 향상시키기 위해 L2-노름 제약을 적용한다.
• 학습된 표현을 k-means, Ward의 연결법, 스펙트럴 군집화 세 가지 군집 알고리즘의 입력으로 사용한다.
• 기존 방법들과의 성능 비교를 위해 bag-of-words, tf-idf, LDA, NMF 및 사전 학습된 단어 임베딩(word2vec, GloVe, fastText)을 사용한다.
• 군집 품질 평가를 위해 표준화된 내부 군집 평가 지표인 Calinski-Harabasz(CH) 점수를 사용한다.
• 군집 간 분리도와 L2 제약의 영향을 평가하기 위해 t-SNE와 UMAP를 사용해 학습된 표현을 시각화한다.

실험 결과

연구 질문

• RQ1 딥 컨volution 오토인코더는 기존 특징 추출 기법보다 건강 관련 트윗에 대해 더 효과적이고 압축된 표현을 학습할 수 있는가?
• RQ2 학습된 표현에 L2-노름 제약을 적용할 경우, 다양한 군집 알고리즘에서 군집 성능에 어떤 영향을 미치는가?
• RQ3 사전 학습된 단어 임베딩(예: fastText, BERT)은 전통적인 특징 추출 기법과 딥 오토인코더에 비해 상대적으로 어떤 성능을 보이는가?
• RQ4 높은 차원의 표현인 원시 tf-idf나 연결된 단어 임베딩은 크기가 크지만 왜 성능이 열 劣하는가?
• RQ5 주제 모델링 방법(LDA, NMF)은 짧은 텍스트 트윗에 대해 군집 작업에서 얼마나 일반화되는가?

주요 결과

• L2-노름 제약을 적용한 제안된 딥 컨volution 오토인코더는 50개 군집에서 최고의 Calinski-Harabasz 점수 752.4를 기록하였으며, 다음으로 우수한 방법인 LDA + tf-idf(638점)보다 유의미하게 뛰어났다.
• L2-노름 제약이 있는 CAE는 모든 세 군집 알고리즘에서 성능 향상을 보였으며, 특히 L2 거리 기반의 k-means 군집화에서 가장 두드러진 향상을 보였다.
• fastText 단어 임베딩은 문자 n-그램을 통해 OOV(Out-of-Vocabulary) 토큰을 처리할 수 있어 약물명 표현에서의 제로 벡터 문제를 줄여, word2vec과 GloVe보다 뛰어난 성능을 보였다.
• 원시 tf-idf와 bag-of-words 특징은 낮은 성능을 보였으며, 단어 임베딩을 고차원 벡터로 연결하는 방식 역시 차원의 극복 문제로 인해 성능이 열 劣했다.
• 주제 모델(LDA 및 NMF)은 트윗의 짧은 길이로 인해 주제 추론에 필요한 통계적 안정성이 부족해 성능이 열 劣했다.
• t-SNE와 UMAP 시각화 결과, L2 제약이 있는 CAE가 제약이 없는 학습보다 더 분리도가 높고 잘 정의된 군집을 생성하는 것으로 확인되었다.