[논문 리뷰] Top2Vec: Distributed Representations of Topics

Dimo Angelov|arXiv (Cornell University)|2020. 08. 19.

Topic Modeling참고 문헌 31인용 수 36

한 줄 요약

Top2Vec는 문서와 단어를 doc2vec와 word2vec를 사용하여 의미 공간에 공동 임베딩하여 주제를 학습하고, 자동으로 주제 수를 발견하며 LDA 및 PLSA와 같은 전통 모델보다 더 정보력 있는 주제 벡터를 생성합니다.

ABSTRACT

Topic modeling is used for discovering latent semantic structure, usually referred to as topics, in a large collection of documents. The most widely used methods are Latent Dirichlet Allocation and Probabilistic Latent Semantic Analysis. Despite their popularity they have several weaknesses. In order to achieve optimal results they often require the number of topics to be known, custom stop-word lists, stemming, and lemmatization. Additionally these methods rely on bag-of-words representation of documents which ignore the ordering and semantics of words. Distributed representations of documents and words have gained popularity due to their ability to capture semantics of words and documents. We present $ exttt{top2vec}$, which leverages joint document and word semantic embedding to find $ extit{topic vectors}$. This model does not require stop-word lists, stemming or lemmatization, and it automatically finds the number of topics. The resulting topic vectors are jointly embedded with the document and word vectors with distance between them representing semantic similarity. Our experiments demonstrate that $ exttt{top2vec}$ finds topics which are significantly more informative and representative of the corpus trained on than probabilistic generative models.

연구 동기 및 목표

• 사전에 정의된 주제 수 없이 대규모 텍스트 말뭉치를 요약하는 확장 가능한 방법으로 토픽 모델링의 필요성을 제시합니다.
• 주제, 문서, 단어 벡터가 의미적 유사성을 반영하는 연속된 의미 공간을 만들기 위해 분산 표현을 활용합니다.
• 의미 공간의 밀도 기반 클러스터링을 통해 자동으로 토픽 수를 결정합니다.
• 밀집한 문서 클러스터의 중심점으로 토픽 벡터를 생성하고 대표 단어를 가장 가까운 이웃으로 추출합니다.
• 의미적으로 유사한 큰 주제로 병합하여 더 작은 주제를 계층적으로 축소할 수 있게 합니다.

제안 방법

• 같은 공간에서 문서 벡터와 단어 벡터를 얻기 위해 doc2vec (DBOW)와 word2vec를 학습시켜 공동 의미 공간을 만듭니다.
• 토픽을 차원 축소된 문서 벡터(UMAP)에 대해 HDBSCAN으로 찾은 문서 벡터의 밀집 영역으로 표현합니다.
• 원래의 임베딩 공간에서 각 밀집 문서 클러스터의 중심점으로 토픽 벡터를 계산합니다.
• 토픽 벡터의 의미 공간에서 가장 가까운 단어 벡터로 토픽 단어를 식별합니다.
• 불용어 목록이나 사전에 정의된 주제 수에 의존하지 않고, 클러스터 밀도와 공간 내 거리로 주제가 드러나도록 허용합니다.
• 선택적으로 작게 나뉜 토픽들을 의미적으로 가까운 큰 토픽으로 합쳐 계층적으로 토픽 수를 줄일 수 있습니다.

실험 결과

연구 질문

• RQ1 주제 발견을 위해 문서와 단어를 함께 표현하는 연속 의미 공간을 어떻게 구성할 수 있을까요?
• RQ2 사전에 정의된 수 없이 의미 공간의 밀집 영역에서 토픽 수를 자동으로 추론할 수 있을까요?
• RQ3 밀집한 문서 클러스터에서 파생된 토픽 벡터가 전통적인 LDA/PLSA 주제보다 더 정보력 있고 대표적인 주제를 산출합니까?
• RQ4 주제 크기를 어떻게 정량화하고 계층적 토픽 축소를 어떻게 수행할 수 있을까요?

주요 결과

• Top2Vec가 찾은 주제는 LDA 및 PLSA가 찾아낸 주제보다 말뭉치에 더 정보적이고 대표적입니다(초록의 주장).
• 모델은 의미 있는 주제를 학습하기 위해 불용어 제거, 형태소 분석, 또는 어간 추출을 필요로 하지 않습니다.
• 주제는 차원 축소된 문서 벡터(UMAP)의 밀도 기반 클러스터링(HDBSCAN)을 통해 자동으로 발견됩니다.
• 주제 단어는 각 토픽 벡터에 가장 가까운 단어 벡터일 뿐이며, 높은 확률이지만 비정보적인 단어에 의존하지 않습니다.
• 주제 규모는 각 밀집 클러스터에 할당된 문서 수에 해당하며, 더 작은 주제를 가까운 이웃과 합쳐 계층적 축소를 가능하게 합니다.