[논문 리뷰] Topic Modeling Using Distributed Word Embeddings

Ramandeep S. Randhawa, Parag Jain외 1명|arXiv (Cornell University)|2016. 03. 15.

Topic Modeling참고 문헌 25인용 수 4

한 줄 요약

이 논문은 사용자 생성 콘텐츠 및 비사용자 생성 텍스트에서 핵심 주제를 식별하는 데 고차원 분산 단어 표현을 활용하는 비지도 주제 모델링 알고리즘인 Vec2Topic을 제안한다. 깊이(의미적 군집 조밀도)와 도수(공현 빈도) 점수를 조합함으로써, 키워드가 맥락어로 둘러싸여 있는 이메일과 채팅과 같이 키워드가 산재해 분포하는 경우 LDA보다 더 잘 핵심 주제를 포착한다.

ABSTRACT

We propose a new algorithm for topic modeling, Vec2Topic, that identifies the main topics in a corpus using semantic information captured via high-dimensional distributed word embeddings. Our technique is unsupervised and generates a list of topics ranked with respect to importance. We find that it works better than existing topic modeling techniques such as Latent Dirichlet Allocation for identifying key topics in user-generated content, such as emails, chats, etc., where topics are diffused across the corpus. We also find that Vec2Topic works equally well for non-user generated content, such as papers, reports, etc., and for small corpora such as a single-document.

연구 동기 및 목표

• 키워드가 흐ř어져 있고 맥락어로 둘러싸여 있는 사용자 생성 콘텐츠에서 전통적인 주제 모델링 기법(예: LDA)이 핵심 주제를 식별하는 데에 한계가 있음을 해결하기 위해.
• 분산 단어 표현에서 유도된 의미 정보를 활용하여 코퍼스 전반에 걸쳐 핵심 주제를 탐지할 수 있는 비지도 방법을 개발하기 위해.
• 깊이와 도수 측정치의 조합을 통해 주제의 중요도를 순위화하고 기술적 키워드를 생성하기 위해.
• 소규모 문서, 단일 문서, 과학 논문과 같은 비사용자 생성 콘텐츠를 포함한 다양한 코퍼스에서의 효과성을 입증하기 위해.
• 단일 단어를 넘어서 사용자 관심사를 더 정확히 반영할 수 있는 어구로 주제 모델링을 확장하기 위해.

제안 방법

• 단어의 루트 노드까지의 링크 수를 기반으로 깊이 점수를 계산하기 위해 고차원 단어 표현에 대해 응집적 군집화를 통해 계승도를 구성한다.
• 각 단어 주변의 맥락 윈도우 내에서 공현하는 고유 단어의 수를 세어 도수 점수를 계산한다.
• 깊이와 도수 점수를 정규화된 거듭제곱 변환을 통해 조합하여 두 지표의 균형을 맞춘다.
• 각 군집에서 점수 상위 단어를 사용해 주제를 구성하고 순위를 매긴다. 주제 레이블은 점수 상위 단어에서 유도된다.
• 데이터셋 간 점수 조합의 안정성을 확보하기 위해 중앙값 기반의 알파 및 베타 파rameter를 사용해 정규화를 적용한다.
• 의도치 않은 군집이 깊이 점수를 왜곡하는 것을 방지하기 위해 명사어(예: 사람 이름)와 외래어를 제거한다.

실험 결과

연구 질문

• RQ1 키워드가 문서 전반에 흩어져 분포하는 경우, 분산 단어 표현 기반 주제 모델링 접근법이 LDA보다 핵심 주제를 더 잘 식별할 수 있는가?
• RQ2 제안된 깊이 및 도수 점수 기반의 측정 방법이 사용자 생성 콘텐츠에서 의미적으로 일관되고 중요한 주제를 얼마나 잘 포착하는가?
• RQ3 소규모 코퍼스, 예를 들어 단일 문서나 짧은 텍스트에서 알고리즘이 강건성과 성능을 유지하는가?
• RQ4 과학 논문과 뉴스 기사와 같은 비사용자 생성 콘텐츠로도 이 방법이 일반화 가능한가?
• RQ5 핵심 주제를 나타내는 비연속적이고 다중어구로 구성된 표현을 알고리즘이 어떻게 다루는가?

주요 결과

• 키워드가 흐ř어져 있고 맥락어로 둘러싸여 있는 사용자 생성 콘텐츠(예: 이메일, 채팅)에서 Vec2Topic은 LDA보다 핵심 주제를 더 잘 식별한다.
• Enron 이메일 코퍼스에서 알고리즘은 기업 기능, 에너지 운영, 비즈니스 전략을 반영한 주요 주제를 성공적으로 식별했으며, LDA가 '회의', '이메일' 같은 맥락어로 군집화하는 것과는 달리 효과적으로 작동한다.
• 과학 논문과 뉴스 기사와 같은 비사용자 생성 콘텐츠에서도 Vec2Topic은 잘 작동하며, 수백 단어 정도의 소규모 코퍼스에서도 효과성이 유지된다.
• 스킵그램 학습 과정 덕분에 단어 표현의 변동에 강건하며, 런에 따라 상위 주제가 질적으로 일관된 편이다.
• 중심값 기반의 알파 및 베타 파rameter를 통한 깊이 및 도수 점수 정규화는 일부 데이터셋에서 성능 향상을 이끌어내지만, 일반적으로 값은 1에 가깝다.
• 명사어와 외래어 제거가 깊이 점수에 영향을 주는 의도치 않은 군집을 방지함으로써 주제 품질을 크게 향상시킨다.