[논문 리뷰] TaxoGen: Unsupervised Topic Taxonomy Construction by Adaptive Term Embedding and Clustering

Chao Zhang, Fangbo Tao외 6명|arXiv (Cornell University)|2018. 12. 22.

Topic Modeling참고 문헌 34인용 수 15

한 줄 요약

TaxoGen는 적응형 구면 클러스터링을 사용하여 의미적으로 일관된 용어 그룹을 계층적 개념 주제로 군집화함으로써 비지도 학습 방법을 제안한다. 로컬 임베딩을 통해 세분화된 수준에서의 구분 능력을 향상시키며, 용어를 적절한 수준에 할당하기 위해 적응형 구면 클러스터링을 활용한다. 이는 실제 데이터셋에서 관계 정확도, 용어 일관성 및 클러스터링 품질 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Taxonomy construction is not only a fundamental task for semantic analysis of text corpora, but also an important step for applications such as information filtering, recommendation, and Web search. Existing pattern-based methods extract hypernym-hyponym term pairs and then organize these pairs into a taxonomy. However, by considering each term as an independent concept node, they overlook the topical proximity and the semantic correlations among terms. In this paper, we propose a method for constructing topic taxonomies, wherein every node represents a conceptual topic and is defined as a cluster of semantically coherent concept terms. Our method, TaxoGen, uses term embeddings and hierarchical clustering to construct a topic taxonomy in a recursive fashion. To ensure the quality of the recursive process, it consists of: (1) an adaptive spherical clustering module for allocating terms to proper levels when splitting a coarse topic into fine-grained ones; (2) a local embedding module for learning term embeddings that maintain strong discriminative power at different levels of the taxonomy. Our experiments on two real datasets demonstrate the effectiveness of TaxoGen compared with baseline methods.

연구 동기 및 목표

• 각 용어를 독립적인 노드로 간주하는 용어 수준의 계층도가 낮은 커버리지, 높은 중복성 및 제한된 정보성으로 이어지는 한계를 해결하기 위해.
• 각 노드가 의미적으로 일관된 용어의 클러스터를 나타내는 주제 계층도를 구축하기 위해.
• 거시적 주제를 반복적으로 분할하는 과정에서 용어를 적절한 계층적 수준에 동적으로 할당하여 계층도 품질을 향상시키기 위해.
• 주제 제약이 있는 서브 코퍼스에서 로컬 임베딩을 학습하여 세분화된 수준에서 용어 표현의 구분 능력을 향상시키기 위해.
• 수동적 지도 학습이 필요 없이 의미 일관성과 계층적 구조를 균형 있게 유지하는 방법을 개발하기 위해.

제안 방법

• 용어 임베딩을 사용하여 잠재 벡터 공간에서 개념 용어 간의 의미 관계를 표현한다.
• 계층적 클러스터링을 활용하여 거시적 주제를 더 세분화된 하위 주제로 반복적으로 분할한다.
• 용어의 대표성 순위를 매기고 부모 수준에 유지할 일반 용어를 반복적으로 식별하는 적응형 구면 클러스터링 모듈을 도입한다.
• 주제 제약이 있는 서브 코퍼스에서 용어 임베딩을 재학습하는 로컬 임베딩 모듈을 적용하여 하위 수준에서의 구분 능력을 향상시킨다.
• 분할 과정에서 용어 할당을 지도하는 랭킹 함수를 사용하여 일반적 또는 겹치는 용어가 자식 주제에 잘못 할당되지 않도록 보장한다.
• 클러스터링 품질 지표(Davies-Bouldin 지수)와 인간 평가(용어 일관성)를 결합하여 계층도 구조의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 개별 용어가 아니라 의미적으로 일관된 용어의 클러스터로 주제를 표현함으로써 주제 계층도를 더 효과적으로 구축할 수 있는가?
• RQ2 일반적 또는 겹치는 개념을 잘못 분류하는 것을 방지하기 위해 계층적 계층도의 적절한 수준에 용어를 적응적으로 할당하는 방법은 무엇인가?
• RQ3 주제 제약이 있는 서브 코퍼스에서 로컬 임베딩을 학습하면 세분화된 수준에서 용어 표현의 구분 능력이 향상되는가?
• RQ4 기존의 패턴 기반 및 임베딩 기반 베이스라인에 비해 제안된 방법이 계층도 품질과 일관성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 반복적인 구축 과정은 높은 의미 일관성을 유지하면서도 중복을 최소화하고 커버리지를 향상시키는 데 효과적인가?

주요 결과

• TaxoGen는 비교된 모든 방법 중에서 가장 높은 관계 정확도(0.775 on DBLP, 0.520 on SP)를 기록했으며, 베이스라인 모델을 크게 능가했다.
• 용어 일관성 점수도 최고 수준을 기록했으며(0.728 on DBLP, 0.592 on SP), 각 클러스터의 상위 용어들이 높은 의미 일관성을 보였다.
• TaxoGen의 Davies-Bouldin 지수는 모든 임베딩 기반 방법 중에서 가장 낮아, 뛰어난 클러스터링 구조 품질을 입증했다.
• 제거 실험 결과, 적응형 클러스터링 모듈과 로컬 임베딩 모듈 모두 필수적임을 확인했으며, 둘 중 하나를 제거하면 성능이 크게 떨어졌다.
• 주제 모델링 방법(HLDA, HPAM)에 비해 TaxoGen는 특히 짧은 문서로 구성된 DBLP 데이터셋에서 뛰어난 성능을 보였는데, 이는 의미적 뉘앙스와 용어 선택을 더 잘 처리했기 때문이다.
• 동일한 개념을 여러 표현으로 나누어 별도의 노드로 분할하는 것을 방지함으로써 중복을 효과적으로 줄였고, 의미 기반 클러스터링을 통해 높은 커버리지를 유지했다.