[논문 리뷰] HyperMiner: Topic Taxonomy Mining with Hyperbolic Embedding

Yishi Xu, Dongsheng Wang외 4명|arXiv (Cornell University)|2022. 10. 16.

Topic Modeling인용 수 11

한 줄 요약

이 논문은 텍스트 내 계층적 의미 구조를 더 잘 포착하기 위해 초구형 임베딩을 활용하는 새로운 토픽 모델링 프레임워크인 HyperMiner를 제안한다. 유클리드 공간 대신 초구형 기하학을 사용함으로써, 모델은 토픽의 해석 가능성과 효율적인 사전 지식 주입을 향상시키며, 기존의 임베딩된 토픽 모델보다 토픽 계층 구조 탐색 및 문서 표현에서 뛰어난 성능을 보인다.

ABSTRACT

Embedded topic models are able to learn interpretable topics even with large and heavy-tailed vocabularies. However, they generally hold the Euclidean embedding space assumption, leading to a basic limitation in capturing hierarchical relations. To this end, we present a novel framework that introduces hyperbolic embeddings to represent words and topics. With the tree-likeness property of hyperbolic space, the underlying semantic hierarchy among words and topics can be better exploited to mine more interpretable topics. Furthermore, due to the superiority of hyperbolic geometry in representing hierarchical data, tree-structure knowledge can also be naturally injected to guide the learning of a topic hierarchy. Therefore, we further develop a regularization term based on the idea of contrastive learning to inject prior structural knowledge efficiently. Experiments on both topic taxonomy discovery and document representation demonstrate that the proposed framework achieves improved performance against existing embedded topic models.

연구 동기 및 목표

• 임베딩된 토픽 모델에서 단어와 토픽 간의 계층적 의미 구조를 모델링하는 데 있어 유클리드 공간의 한계를 해결하기 위해.
• 초구형 공간의 나무 모양 기하학을 활용하여 토픽 모델의 해석 가능성 향상하기 위해.
• 초구형 대비 손실 정규화를 통해 사전 지식(예: 개념 계층)을 효과적으로 토픽 학습에 통합하기 위해.
• 토픽 계층 탐색 및 문서 표현에서 높은 성능을 유지하면서도 확장성과 효율성을 확보하는 프레임워크 개발하기 위해.

제안 방법

• Poincaré 구 모델을 사용하여 단어와 토픽을 초구형 공간의 점으로 표현함으로써, 그 내재된 나무 모양의 구조를 활용한다.
• Poincaré 구 내 기하학적 거리(기하학적 거리)를 사용하여 단어와 토픽 간의 의미 유사도를 계산하며, 유클리드 내적 대신 이를 대체한다.
• 사전 지식 기반으로 단어 및 토픽 임베딩을 정규화하기 위해 초구형 대비 손실을 도입하여 계층적 관계를 유지한다.
• 확률적 생성 과정을 유지하면서 임베딩된 토픽 모델(ETM) 프레임워크에 초구형 기하학을 통합한다.
• 초구형 공간에서 대비 학습 전략을 활용하여 관련 개념(예: 상위 개념)의 임베딩을 정렬하고, 관련이 없는 개념은 서로 멀리 떨어지게 한다.
• 사전 정의된 개념 계층을 사용하여 비지도 토픽 계층 탐색과 지식 유도 토픽 탐색(HyperMiner-KG)을 모두 지원한다.

실험 결과

연구 질문

• RQ1 초구형 임베딩은 유클리드 임베딩에 비해 단어와 토픽 간의 암묵적 의미 계층을 더 잘 포착할 수 있는가?
• RQ2 초구형 기하학을 사용할 때 사전 구조 지식(예: WordNet 계층)이 토픽 모델링에 얼마나 효과적으로 통합될 수 있는가?
• RQ3 초구형 대비 손실의 사용이 토픽 계층 탐색에서 토픽의 해석 가능성과 성능을 향상시키는가?
• RQ4 HyperMiner는 기존의 임베딩된 토픽 모델에 비해 더 나은 문서 표현과 토픽 품질을 달성할 수 있는가?

주요 결과

• HyperMiner는 최신 기술의 임베딩된 토픽 모델에 비해 토픽 계층 탐색 및 문서 표현에서 일관된 성능 향상을 달성한다.
• 모델은 초구형 공간에서 사전 지식의 계층적 구조를 성공적으로 유지하며, 일반적인 개념은 Poincaré 원판의 중심부에, 구체적인 개념은 경계 근처에 위치한다.
• 사전 개념(예: physical_entity.n.01, substance.n.07)에 의해 유도된 토픽 내용은 의미적으로 일관되며, 계층 간 예상되는 의미 관계를 반영한다.
• round_shape.n.01에 의해 유도된 토픽에는 형태 관련 용어와 코퍼스 특화 용어(예: files, ftp)가 함께 포함되어 있어 데이터 가능성과 지식 정규화의 공통 영향을 반영한다.
• 시각화 결과는 단어 임베딩이 어휘 계층을 반영함을 확인한다: 높은 공출현 빈도를 가진 단어들은 중심부에 군집하고, 특정 용어들은 경계 쪽으로 국소화된다.
• 초구형 대비 손실은 토픽 학습을 효과적으로 유도하여 더 해석 가능하고 구조적으로 일관된 토픽을 생성한다.