[논문 리뷰] Latent Tree Models for Hierarchical Topic Detection

Peixian Chen, Nevin L. Zhang외 4명|arXiv (Cornell University)|2016. 05. 21.

Topic Modeling참고 문헌 45인용 수 4

한 줄 요약

이 논문은 계층적 주제 탐지의 새로운 방법으로 계층적 잠재 트리 모델(HLTMs)을 사용하는 계층적 잠재 트리 분석(HLTA)을 제안한다. 이 모델은 이진 단어 존재 변수와 문서의 연속적인 소프트 분할을 나타내는 잠재 이진 변수를 사용하여 문서 컬렉션을 모델링한다. LDA 기반 방법과 달리 HLTA는 문서 생성 과정을 모델링하지 않으며, 대신 단어 동시 발생 패턴을 바탕으로 주제를 문서의 클러스터로 해석함으로써, 기존 최고 수준의 방법들인 nHDP보다 뛰어난 주제 일관성 및 밀도 점수와 더 의미 있는 계층적 주제 구조를 달성한다.

ABSTRACT

We present a novel method for hierarchical topic detection where topics are obtained by clustering documents in multiple ways. Specifically, we model document collections using a class of graphical models called hierarchical latent tree models (HLTMs). The variables at the bottom level of an HLTM are observed binary variables that represent the presence/absence of words in a document. The variables at other levels are binary latent variables, with those at the lowest latent level representing word co-occurrence patterns and those at higher levels representing co-occurrence of patterns at the level below. Each latent variable gives a soft partition of the documents, and document clusters in the partitions are interpreted as topics. Latent variables at high levels of the hierarchy capture long-range word co-occurrence patterns and hence give thematically more general topics, while those at low levels of the hierarchy capture short-range word co-occurrence patterns and give thematically more specific topics. Unlike LDA-based topic models, HLTMs do not refer to a document generation process and use word variables instead of token variables. They use a tree structure to model the relationships between topics and words, which is conducive to the discovery of meaningful topics and topic hierarchies.

연구 동기 및 목표

• 문서 생성 과정에 의존하지 않고 의미적으로 유의미한 주제 계층을 생성할 수 있는 새로운 계층적 주제 탐지 방법을 개발하는 것.
• 이진 잠재 변수를 사용한 트리 구조의 그래픽 모델을 통해 단어 동시 발생 패턴과 그 계층적 관계를 모델링하는 것.
• 주제를 확률적 단어 분포가 아닌 소프트 문서 클러스터로 해석함으로써 주제 품질을 향상시키는 것.
• 높은 수준의 주제가 더 넓은 주제를, 낮은 수준의 주제가 더 구체적인 하위 주제를 대표하도록 하여 주제 계층의 해석 가능성을 향상시키는 것.
• nHDP와 같은 기존 LDA 기반 방법들보다 주제 일관성, 밀도, 계층적 구조 품질 측면에서 뛰어난 성능을 내는 것.

제안 방법

• HLTA는 관측 변수로 문서 내 이진 단어 존재 지표를 사용하는 계층적 잠재 트리 모델(HLTMs)을 사용한다.
• 내부 노드의 잠재 변수는 문서의 소프트 분할을 나타내며, 각 분할은 주제로 해석된다.
• 단어 변수들이 경로상의 잠재 변수에 조건부로 독립이 되도록 모델링하여 일관성 있는 주제 클러스터를 촉진한다.
• 주제는 주제 내에서의 발생 확률이 높고 주제 간에서의 발생 확률이 낮은 단어로 특징지어지며, 이는 구분 가능한 표현을 보장한다.
• 모델 구축 및 최종 피팅 단계에서 파arameter 학습을 가속화하기 위해 점진적 EM과 단계별 EM을 사용한다.
• 단어 유사도는 사전 학습된 word2vec 임베딩을 통해 계산되어 주제 밀도 평가를 위한 외부 지표로 사용된다.

실험 결과

연구 질문

• RQ1 문서 생성 가정을 피하는 잠재 트리 모델이 LDA 기반 방법보다 더 높은 품질의 계층적 주제를 생성할 수 있는가?
• RQ2 단어 동시 발생 패턴에 기반한 소프트 문서 분할에서 유도된 주제가 확률적 단어 분포에서 유도된 주제와 비교해 어떻게 다른가?
• RQ3 HLTM의 트리 구조가 주제 계층의 해석 가능성과 주제 일관성에 얼마나 기여하는가?
• RQ4 이진 단어 존재 변수와 잠재 변수 기반 클러스터링이 토큰 기반 모델보다 더 나은 주제 일관성 및 밀도 점수를 제공할 수 있는가?
• RQ5 HLTA가 생성하는 주제 계층의 품질은 의미적 구조와 주제 군집 측면에서 nHDP와 비교해 어떻게 다른가?

주요 결과

• HLTA는 NIPS 및 NYT 데이터셋에서 모두 LDA 기반 기준선(포함 nHDP)보다 유의미하게 높은 주제 일관성 점수를 달성했다.
• HLTA는 경쟁 방법들보다도 상당히 높은 주제 밀도 점수를 기록하여 주제 내 단어들의 의미 일관성이 뛰어나다는 것을 시사했다.
• 수동 평가 결과, HLTA의 주제 계층은 nHDP보다 더 의미적으로 일관되고 잘 정리된 구조를 보였으며, '경제', '주식 시장', '기업'과 같은 명확한 주제 군집이 존재했다.
• HLTA의 주제 계층은 다양한 수준에서 뚜렷한 군집이 형성되어 자연스럽고 해석 가능한 구조를 보였고, 반면 nHDP의 출력은 혼합되고 덜 일관된 군집을 보였다.
• 토큰 수준의 모델링을 피하고 이진 단어 변수를 사용함에도 불구하고, HLTA는 계산 시간에서 nHDP와 동등하거나 뛰어난 성능을 보였으며, 더 뛰어난 주제 품질을 제공했다.
• 결과적으로, 계층적 잠재 트리 구조를 통해 단어 동시 발생 패턴을 모델링하면 더 의미 있고 해석 가능한 주제 계층이 도출된다는 것이 입증되었다.