[論文レビュー] Knowledge-Aware Bayesian Deep Topic Model

Dongsheng Wang, Yishi Xu+5 more|arXiv (Cornell University)|Sep 20, 2022

Topic Modeling被引用数 8

ひとこと要約

本稿では、統一された潜在空間内で共有語埋め込みとトピック埋め込みを用いて文書と事前トピック木を共同でモデル化する、知識を踏まえたベイジアンディープトピックモデルであるTopicKGを提案する。グラフ構造のトピック階層を介して事前ドメイン知識を統合し、グラフ適応技術（TopicKGA）によりトピック構造を動的に最適化することで、トピックの一貫性と文書表現が向上し、階層的トピックモデリングおよび文書分類タスクにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

We propose a Bayesian generative model for incorporating prior domain knowledge into hierarchical topic modeling. Although embedded topic models (ETMs) and its variants have gained promising performance in text analysis, they mainly focus on mining word co-occurrence patterns, ignoring potentially easy-to-obtain prior topic hierarchies that could help enhance topic coherence. While several knowledge-based topic models have recently been proposed, they are either only applicable to shallow hierarchies or sensitive to the quality of the provided prior knowledge. To this end, we develop a novel deep ETM that jointly models the documents and the given prior knowledge by embedding the words and topics into the same space. Guided by the provided knowledge, the proposed model tends to discover topic hierarchies that are organized into interpretable taxonomies. Besides, with a technique for adapting a given graph, our extended version allows the provided prior topic structure to be finetuned to match the target corpus. Extensive experiments show that our proposed model efficiently integrates the prior knowledge and improves both hierarchical topic discovery and document representation.

研究の動機と目的

• 既存のトピックモデルが階層的トピックモデリングにおいて、事前ドメイン知識を十分に活用できないという限界を解消すること。
• 提供された知識グラフの不一致に敏感な知識ベースのモデルの問題を克服し、対象コーパスの性質に適応してトピック構造を動的に最適化できる仕組みを提供すること。
• 共有埋め込みを用いて文書と事前に定義されたトピックツリーを共同でモデル化することで、トピックの一貫性と文書表現を向上させること。
• 人間の知識をディープ埋め込みトピックモデルに統合できるスケーラブルで効率的なベイジアンフレームワークを構築すること。
• ターゲットコーパスの意味的構造に適応可能な柔軟で頑健な階層的トピックモデリングソリューションを提供すること。

提案手法

• 共通の潜在空間内で文書Bag-of-Words (BoW) ベクトルと与えられたトピックツリーを共有語埋め込みとトピック埋め込みを用いて共同でモデル化するベイジアン生成モデル、TopicKGを提案する。
• 多層的な文書表現とトピックを学習するためのディープ文書生成モデルを採用し、事前に定義されたトピックツリーの構造に従って学習をガイドする。
• トピックツリー内の階層的所属関係を探索することでノード埋め込みを精緻化するグラフ生成モデルを導入し、トピックの解釈可能性を向上させる。
• 対象コーパスに基づいて元のトピックツリーに欠落しているリンクを同定・追加できるようにTopicKGを拡張し、TopicKGAを構築する。
• 変分オートエンコーダ（VAEs）を用い、エビデンス下限界（ELBO）を最大化することでエンドツーエンドの学習を実現し、スケーラビリティと柔軟性を確保する。
• 事前学習済み語埋め込みを活用し、グラフ尤度を用いてトピック埋め込みに構造的制約を課すことで、意味的整合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 トピック階層としての事前ドメイン知識が、ディープ埋め込みトピックモデルに効果的に統合可能であるか。
• RQ2 共有埋め込みを用いた文書とトピックツリーの共同モデリングは、標準的な尤度ベースモデルと比較して、どのように階層的トピック発見を向上させるか。
• RQ3 モデルが事前に定義されたトピック構造を、ターゲットコーパスの意味的パターンにどの程度適応できるか。
• RQ4 TopicKGAに組み込まれたグラフ適応メカニズムは、固定された事前知識に比べて、より解釈可能で頑健なトピック階層を生成できるか。
• RQ5 提案手法は、トピック品質および文書分類タスクにおいて、既存の知識を踏まえたトピックモデルと比較して、性能と効率の面で優れているか。

主な発見

• TopicKGおよびTopicKGAは、TCおよびWEタスクにおいてベースライン手法よりも高いトピック一貫性を達成しており、特に階層的トピック発見においてTopicKGAがTopicKGを上回る。
• TopicKGAは、TopicNet や JoSH などの他の知識ベースモデルを上回り、20NG、R8、RCV2 データセットにおいて文書分類タスクでより高い Micro F1 および Macro F1 スコアを達成した。
• グラフ適応メカニズムにより、TopicKGAは元のトピックツリーに存在しない「フリー・トピック」（欠落した概念）を同定・統合でき、図4(b)における新規の破線で囲まれたトピックボックスの可視化によって裏付けられた。
• 20NG（小規模）およびRCV2（大規模）コーパスの両方において、TopicKGAはTopicNet や他のベースラインと比較して、より速い収束速度と優れた再構成性能（低い負の対数尤度）を示した。
• 共有埋め込みによる文書とトピックツリーの共同モデリングは、隣接する層間の明確な意味的関係を有する、より解釈可能なトピック階層を生成した。
• モデルは強い頑健性と柔軟性を示しており、TopicKGAにおける見直されたトピック構造がターゲットコーパスに動的に適応することで、事前知識の不一致の影響が軽減された。