[论文解读] Graph-Sparse LDA: A Topic Model with Structured Sparsity

Finale Doshi‐Velez, Byron Wallace+1 more|arXiv (Cornell University)|Oct 16, 2014

Topic Modeling参考文献 17被引用 4

一句话总结

Graph-Sparse LDA 是一种贝叶斯非参数主题模型，通过利用结构化词汇表（如医学本体或基因通路）将主题建模为有向无环图（DAG）中概念词上的分布，从而实现稀疏且可解释的主题。通过利用图结构关系引导稀疏性，该模型在保持显著优于标准稀疏主题模型的可解释性主题摘要的同时，实现了最先进的预测性能。

ABSTRACT

Originally designed to model text, topic modeling has become a powerful tool for uncovering latent structure in domains including medicine, finance, and vision. The goals for the model vary depending on the application: in some cases, the discovered topics may be used for prediction or some other downstream task. In other cases, the content of the topic itself may be of intrinsic scientific interest. Unfortunately, even using modern sparse techniques, the discovered topics are often difficult to interpret due to the high dimensionality of the underlying space. To improve topic interpretability, we introduce Graph-Sparse LDA, a hierarchical topic model that leverages knowledge of relationships between words (e.g., as encoded by an ontology). In our model, topics are summarized by a few latent concept-words from the underlying graph that explain the observed words. Graph-Sparse LDA recovers sparse, interpretable summaries on two real-world biomedical datasets while matching state-of-the-art prediction performance.

研究动机与目标

• 为解决高维主题模型中可解释性低的挑战，特别是在具有结构化词汇表的科学领域中。
• 利用现有的受控词汇表（如 ICD9-CM、MeSH 或基因通路）作为先验知识，指导主题发现。
• 开发一种能生成稀疏、基于概念的主题摘要的模型，使其对领域专家具有实际意义。
• 在提升可解释性的同时，保持或超越最先进的稀疏主题模型的预测性能。
• 设计一种高效的推理过程，利用图结构识别稀疏、高似然解。

提出的方法

• 提出一种分层主题模型，其中主题是 DAG 结构词汇表中概念词上的分布，而非原始词汇上的分布。
• 使用受图结构启发的噪声过程，从概念词生成观测词，使一个概念能够解释其祖先和后代。
• 采用一种新颖的吉布斯采样推理过程，偏好在似然恒定的流形上移动，以高效探索稀疏解。
• 应用贝叶斯非参数先验（如中国餐馆过程）以自动发现主题数量。
• 通过一个稀疏诱导矩阵 P 将图结构融入模型，定义哪些观测词可由哪些概念词生成。
• 利用图结构约束主题分布的支持集，确保仅具有有意义语义关系的概念词才参与主题构成。

实验结果

研究问题

• RQ1 能否利用如医学本体等结构化词汇表在不牺牲预测性能的前提下提升主题模型的可解释性？
• RQ2 如何利用词汇之间的图结构关系，在保持数据解释能力的前提下，诱导主题模型中的稀疏性？
• RQ3 通过 DAG 引入领域特定知识，是否能提升所发现主题在临床或科学意义上的合理性，相比标准稀疏主题模型？
• RQ4 该模型能否仅通过图结构和观测数据，高效地同时发现主题数量及其稀疏、基于概念的表示？
• RQ5 与标准稀疏 LDA 中的吉布斯采样相比，所提出的推理过程是否更有效地找到稀疏、可解释的解？

主要发现

• Graph-Sparse LDA 在两个真实世界生物医学数据集（自闭症患者诊断和 MeSH 标注的生物医学摘要）上实现了最先进的或更优的预测性能。
• 与 Latent IBP Compound Dirichlet Allocation 相比，该模型生成了显著更稀疏的主题描述（仅使用少数关键概念词），同时保持或提升了数据解释能力。
• 在自闭症数据集中，Graph-Sparse LDA 仅通过少数高层级诊断概念（如“Epilepsy”总结特定癫痫类型）即恢复了临床上相关的亚型。
• 在 MeSH 标注的摘要中，该模型识别出简洁、有意义的 MeSH 术语分组，与已知生物医学主题一致，并显著提升了可解释性。
• 推理过程通过偏好在似然恒定的流形上移动，高效识别出稀疏解，从而降低了计算开销。
• 该模型能够利用专家整理的本体作为先验知识，生成既可解释又对领域专家具有科学意义的主题摘要。