[논문 리뷰] Knowledge-Aware Bayesian Deep Topic Model

Dongsheng Wang, Yishi Xu외 5명|arXiv (Cornell University)|2022. 09. 20.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 통합된 잠재 공간 내에서 공유된 단어 및 주제 임베딩을 사용하여 문서와 사전 주제 트리를 함께 모델링하는 지식 인식 베이지안 딥 토픽 모델인 TopicKG을 제안한다. 그래프 구조화된 주제 계층과 그래프 적응 기법(TopicKGA)을 통해 사전 지식을 통합하고 주제 구조를 적응적으로 개선함으로써, 주제 일관성과 문서 표현을 향상시켜 계층적 토픽 모델링 및 문서 분류 작업에서 최신 기술들을 능가한다.

ABSTRACT

We propose a Bayesian generative model for incorporating prior domain knowledge into hierarchical topic modeling. Although embedded topic models (ETMs) and its variants have gained promising performance in text analysis, they mainly focus on mining word co-occurrence patterns, ignoring potentially easy-to-obtain prior topic hierarchies that could help enhance topic coherence. While several knowledge-based topic models have recently been proposed, they are either only applicable to shallow hierarchies or sensitive to the quality of the provided prior knowledge. To this end, we develop a novel deep ETM that jointly models the documents and the given prior knowledge by embedding the words and topics into the same space. Guided by the provided knowledge, the proposed model tends to discover topic hierarchies that are organized into interpretable taxonomies. Besides, with a technique for adapting a given graph, our extended version allows the provided prior topic structure to be finetuned to match the target corpus. Extensive experiments show that our proposed model efficiently integrates the prior knowledge and improves both hierarchical topic discovery and document representation.

연구 동기 및 목표

• 기존 토픽 모델이 계층적 토픽 모델링에서 사전 도메인 지식을 효과적으로 활용하지 못하는 한계를 해결하기 위해.
• 제공된 지식 그래프의 주제 구조가 일치하지 않을 경우 민감하게 반응하는 지식 기반 모델의 문제를 해결하기 위해 사전 지식 그래프의 적응적 개선을 가능하게 하기 위해.
• 공유 임베딩을 사용하여 문서와 사전 정의된 주제 트리를 함께 모델링함으로써 주제 일관성과 문서 표현을 향상시키기 위해.
• 사람의 지식을 딥 임bedded 토픽 모델에 통합하는 스케일러블하고 효율적인 베이지안 프레임워크를 개발하기 위해.
• 목표 코퍼스의 의미적 구조에 적응할 수 있는 유연하고 강력한 계층적 토픽 모델링 솔루션을 제공하기 위해.

제안 방법

• 공통 잠재 공간 내에서 공유된 단어 및 주제 임베딩을 사용하여 문서 Bag-of-Words (BoW) 벡터와 주어진 주제 트리를 함께 모델링하는 베이지안 생성 모델인 TopicKG을 제안한다.
• 사전 정의된 주제 트리의 구조에 따라 안내되는 다층 문서 표현과 주제를 학습하기 위해 딥 문서 생성 모델을 활용한다.
• 주제 트리 내의 계층적 소속 관계를 탐색하여 노드 임베딩을 개선하는 그래프 생성 모델을 도입함으로써 주제의 해석 가능성성을 향상시킨다.
• 목표 코퍼스 기반으로 기존 주제 트리에 없는 링크를 탐지하고 추가할 수 있도록 TopicKG을 TopicKGA로 확장한다.
• 변분 오토인코더(Variational Autoencoders, VAEs)를 사용하고, 엔드 투 엔드 학습을 위해 증거 하한(lower bound, ELBO)를 최대화함으로써 확장성과 융통성을 확보한다.
• 미리 학습된 단어 임베딩을 활용하고, 그래프 가능도를 통해 주제 임베딩에 구조적 제약 조건을 부여함으로써 의미적 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 주제 계층의 형태로 된 사전 도메인 지식이 딥 임베딩 토픽 모델에 효과적으로 통합되어 주제 일관성이 향상될 수 있는가?
• RQ2 공유 임베딩을 통한 문서와 주제 트리의 공동 모델링이 기존의 가능도 기반 모델에 비해 계층적 토픽 발견에 어떻게 기여하는가?
• RQ3 모델이 사전 정의된 주제 구조를 목표 코퍼스의 의미 패턴에 더 잘 맞추기 위해 얼마나 적응할 수 있는가?
• RQ4 TopicKGA에 도입된 그래프 적응 메커니즘이 고정된 사전 지식에 비해 더 해석 가능하고 강력한 주제 계층을 제공하는가?
• RQ5 제안된 모델은 주제 품질 및 문서 분류 작업에서 기존의 지식 인식 토픽 모델들에 비해 성능과 효율성 면에서 어떻게 비교되는가?

주요 결과

• TopicKG와 TopicKGA는 TC 및 WE 작업에서 베이스라인 모델보다 더 높은 주제 일관성을 달성했으며, 특히 계층적 토픽 발견에서 TopicKGA가 대부분의 경우 TopicKG를 능가했다.
• TopicKGA는 20NG, R8, RCV2 데이터셋에서 TopicNet과 JoSH와 같은 다른 지식 기반 모델을 능가하여 더 높은 Micro F1 및 Macro F1 스코어를 기록했다.
• 그래프 적응 메커니즘 덕분에 TopicKGA는 원래 주제 트리에 존재하지 않는 '자유 주제들'(missing concepts)을 탐지하고 통합할 수 있었으며, 그 증거로 그림 4(b)의 새로운 점선 주제 상자들이 시각화되었다.
• 작은(20NG) 및 큰(RCV2) 코퍼스 양쪽에서 TopicKGA는 TopicNet 및 기타 베이스라인보다 더 빠른 수렴 속도와 더 나은 재구성 성능(낮은 음의 로그우도)을 달성했다.
• 공유 임베딩을 통한 문서와 주제 트리의 공동 모델링은 인접한 레이어 간에 명확한 의미적 관계를 가지는 더 해석 가능한 주제 계층을 이끌어냈다.
• 모델은 강력한 강인성과 융통성을 보였으며, TopicKGA의 수정된 주제 구조는 목표 코퍼스에 동적으로 적응함으로써 사전 지식 불일치의 영향을 줄였다.