[论文解读] Discovering Mental Health Research Topics with Topic Modeling

Xin Gao, Cem Sazara|arXiv (Cornell University)|Aug 25, 2023

Mental Health via WritingPsychology被引用 3

一句话总结

本研究将微调后的 BERTopic 模型应用于 96,676 篇心理健康研究论文（2010–2023 年），以识别随时间演变的研究主题与趋势。通过基于 BERT 的嵌入与主题建模，该方法在主题一致性与多样性指标上优于 LDA-BERT 和 Top2Vec，揭示了自杀、物质使用和自闭症等关键主题；同时，基于 GPT-3.5-turbo 的机器学习方法分析显示，心理健康研究正逐步转向深度学习与自然语言处理。

ABSTRACT

Mental health significantly influences various aspects of our daily lives, and its importance has been increasingly recognized by the research community and the general public, particularly in the wake of the COVID-19 pandemic. This heightened interest is evident in the growing number of publications dedicated to mental health in the past decade. In this study, our goal is to identify general trends in the field and pinpoint high-impact research topics by analyzing a large dataset of mental health research papers. To accomplish this, we collected abstracts from various databases and trained a customized Sentence-BERT based embedding model leveraging the BERTopic framework. Our dataset comprises 96,676 research papers pertaining to mental health, enabling us to examine the relationships between different topics using their abstracts. To evaluate the effectiveness of the model, we compared it against two other state-of-the-art methods: Top2Vec model and LDA-BERT model. The model demonstrated superior performance in metrics that measure topic diversity and coherence. To enhance our analysis, we also generated word clouds to provide a comprehensive overview of the machine learning models applied in mental health research, shedding light on commonly utilized techniques and emerging trends. Furthermore, we provide a GitHub link* to the dataset used in this paper, ensuring its accessibility for further research endeavors.

研究动机与目标

• 识别并分析过去十年中（特别是新冠疫情前后）心理健康研究的演变主题。
• 评估先进主题建模技术（BERTopic、LDA-BERT 和 Top2Vec）在心理健康研究论文摘要上的性能表现。
• 通过大语言模型驱动的提取与可视化，揭示心理健康研究中主导与新兴的机器学习技术。
• 提供一个公开可访问的数据集与模型，以支持计算心理健康领域的未来研究。

提出的方法

• 从 arXiv、ACM、bioRxiv、medRxiv 和 PubMed 收集了从 2010 年 1 月到 2023 年 3 月的摘要，共形成 96,676 篇心理健康研究论文的数据集。
• 在 BERTopic 框架内训练了一个基于 Sentence-BERT 的定制嵌入模型，以生成上下文相关的文档嵌入，并将它们聚类为语义一致的主题。
• 使用多种指标评估主题质量：NPMI（归一化点互信息）、Cv（主题一致性系数）、TD（主题多样性）和 Inv. RBO（倒序偏差重叠）。
• 使用相同的评估指标，将 BERTopic 的性能与两种最先进的基线模型 LDA-BERT 和 Top2Vec 进行对比。
• 利用 GPT-3.5-turbo API 提示，提取并分类论文中提到的机器学习方法，从而实现随时间的趋势分析。
• 生成词云以视觉化展示机器学习模型在心理健康研究中的频率与显著性，突出从传统机器学习向深度学习的转变。

Figure 1: 2D UMAP Visualization of BERTopic Clusters

实验结果

研究问题

• RQ1 2010 至 2023 年间，心理健康研究中的主导与新兴研究主题是什么，特别是在新冠疫情前后？
• RQ2 在心理健康研究论文上应用时，BERTopic 与 LDA-BERT 和 Top2Vec 在主题一致性、多样性与可解释性方面有何差异？
• RQ3 心理健康研究中机器学习方法的演变趋势是什么？这些趋势如何随时间变化？
• RQ4 主题建模结果中哪些临床与心理社会主题最为突出？这些主题揭示了研究优先事项的哪些信息？

主要发现

• BERTopic 在主题多样性（TD 得分为 0.7208）和主题一致性（Cv 得分为 0.8068）方面均优于 LDA-BERT 和 Top2Vec，表明其生成的主题质量更高、更具可解释性。
• BERTopic 模型获得了 0.2892 的归一化点互信息（NPMI）得分，反映出每个主题中词语之间具有较强的语义一致性。
• Top2Vec 在 Inv. RBO 得分上最高（0.9669），表明其在词语顺序相似性与多样性方面表现优异，但 BERTopic 在整体一致性和可解释性方面仍更胜一筹。
• 主题建模揭示了若干关键主题，如自杀（包含 'suicidal'、'ideation'、'attempt' 等术语）、物质使用（烟草、大麻、阿片类药物）以及自闭症中的亲子关系。
• 由 GPT-3.5-turbo 提取的机器学习方法生成的词云显示，2017 年前以传统机器学习为主，2017 年后则出现神经网络、自然语言处理（NLP）、计算机视觉（CV）和强化学习的显著增长。
• 本研究通过 GitHub（https://github.com/stella-gao/Mental-Health-Research-Paper-Dataset）公开提供数据集，支持可复现性与未来研究。

Figure 2: Word Scores of Top 8 Topics from BERTopic