[论文解读] Computer-Assisted Text Analysis for Social Science: Topic Models and Beyond

Ryan Wesslen|arXiv (Cornell University)|Mar 29, 2018

Computational and Text Analysis Methods参考文献 68被引用 16

一句话总结

本文综述了主题模型在社会科学中的演变与应用，强调结构主题模型（STM）在因果推断与可解释性方面的优势。该研究将计算机辅助文本分析与社会科学研究相结合，推动了在无结构文本数据中评估、可视化及多模态处理方面的研究方法发展。

ABSTRACT

Topic models are a family of statistical-based algorithms to summarize, explore and index large collections of text documents. After a decade of research led by computer scientists, topic models have spread to social science as a new generation of data-driven social scientists have searched for tools to explore large collections of unstructured text. Recently, social scientists have contributed to topic model literature with developments in causal inference and tools for handling the problem of multi-modality. In this paper, I provide a literature review on the evolution of topic modeling including extensions for document covariates, methods for evaluation and interpretation, and advances in interactive visualizations along with each aspect's relevance and application for social science research.

研究动机与目标

• 综述主题模型在社会科学研究中的发展与采用，特别是针对无结构文本数据量日益增长的应对策略。
• 突出传统文本分析方法（如人工编码与词典法）在处理大规模文本时的局限性。
• 提出结构主题模型（STM）作为LDA的扩展，支持通过引入文档层面协变量实现因果推断。
• 考察主题模型在社会科学语境下评估、解释与交互可视化方面的最新进展。
• 识别计算社会科学中文本分析中可解释人工智能（XAI）与交互系统方面的未来研究机遇。

提出的方法

• 通过文献综述追踪主题建模从潜在语义分析（LSI）与LDA到STM等高级模型的演变过程。
• 应用词袋模型（BoW）假设将文本转换为文档-词矩阵（DTM），以支持词共现模式的统计建模。
• 将结构主题模型（STM）作为LDA的扩展，引入文档层面协变量以估计变量（如政治意识形态或调查回答）对主题流行度的因果影响。
• 采用后验预测检查、模型选择与可视化工具（如Shiny、Vega-lite）进行模型评估与解释。
• 将word2vec与GloVe等词嵌入模型作为基于计数的主题模型的补充方法，以实现更丰富的语义表征。
• 提出开发可解释、交互式的可视化系统，以增强主题建模工作流中的可解释性与用户洞察力。

实验结果

研究问题

• RQ1 如何通过文本数据使主题模型适应社会科学中的因果推断？
• RQ2 在主题建模中有哪些关键的方法论进展，可提升社会科学应用中的可解释性与评估能力？
• RQ3 结构主题模型（STM）如何扩展传统LDA，以整合文档层面协变量并支持因果分析？
• RQ4 交互式可视化与可解释人工智能（XAI）在提升主题模型透明度与可用性方面发挥何种作用？
• RQ5 word2vec与GloVe等词嵌入模型在捕捉文本语义意义方面，与传统主题模型相比有何差异？

主要发现

• 主题模型，特别是LDA与STM，已成为社会科学中分析大规模无结构文本的关键工具，可在无需预先标注的情况下发现潜在主题。
• 结构主题模型（STM）通过整合文档协变量成功扩展了LDA，使研究人员能够估计政治意识形态或调查回答等变量对主题流行度的因果效应。
• 尽管存在stmViz与stmBrowser等交互可视化工具，但其功能仍有限，凸显了对更强大、可解释性更强的用户界面的迫切需求。
• word2vec与GloVe等词嵌入模型通过建模词语上下文，提供更深层次的语义理解，在捕捉语义方面优于简单的基于计数的模型。
• 将主题建模与可解释人工智能（XAI）相结合，为构建透明、可解释且交互式的系统提供了路径，实现人类洞察与机器学习输出的融合。
• stm R 包通过内置的预处理、模型选择、后验预测检查与静态可视化功能，支持可重复研究，推动了STM的广泛应用。