[論文レビュー] Discovering Mental Health Research Topics with Topic Modeling

Xin Gao, Cem Sazara|arXiv (Cornell University)|Aug 25, 2023

Mental Health via WritingPsychology被引用数 3

ひとこと要約

本研究では、2010年から2023年までの96,676件の精神保健関連論文を対象に、微調整されたBERTopicモデルを適用し、進化する研究トピックとトレンドを同定した。BERTベースの埋め込みとトピックモデリングを用い、一貫性と多様性の指標においてLDA-BERTおよびTop2Vecを上回った。主なテーマとして自殺、薬物使用、自閉症が明らかになった。一方、GPT-3.5-turboを用いた機械学習手法の分析では、精神保健分野におけるディープラーニングおよびNLPへのシフトが示された。

ABSTRACT

Mental health significantly influences various aspects of our daily lives, and its importance has been increasingly recognized by the research community and the general public, particularly in the wake of the COVID-19 pandemic. This heightened interest is evident in the growing number of publications dedicated to mental health in the past decade. In this study, our goal is to identify general trends in the field and pinpoint high-impact research topics by analyzing a large dataset of mental health research papers. To accomplish this, we collected abstracts from various databases and trained a customized Sentence-BERT based embedding model leveraging the BERTopic framework. Our dataset comprises 96,676 research papers pertaining to mental health, enabling us to examine the relationships between different topics using their abstracts. To evaluate the effectiveness of the model, we compared it against two other state-of-the-art methods: Top2Vec model and LDA-BERT model. The model demonstrated superior performance in metrics that measure topic diversity and coherence. To enhance our analysis, we also generated word clouds to provide a comprehensive overview of the machine learning models applied in mental health research, shedding light on commonly utilized techniques and emerging trends. Furthermore, we provide a GitHub link* to the dataset used in this paper, ensuring its accessibility for further research endeavors.

研究の動機と目的

• 過去10年間における精神保健研究分野の進化する研究トピックを特定・分析すること、特に新型コロナウイルス感染症（COVID-19）パンデミックへの反応を含めて。
• 精神保健関連論文の要約に適用した際の、先進的なトピックモデリング手法（BERTopic、LDA-BERT、Top2Vec）の性能を評価すること。
• LLMを活用した抽出と可視化により、精神保健研究で用いられる代表的で新たな機械学習手法を同定すること。
• 今後の計算的精神保健分野の研究を支援するため、公開可能なデータセットとモデルを提供すること。

提案手法

• arXiv、ACM、bioRxiv、medRxiv、PubMedから要約を収集し、2010年1月から2023年3月までの期間をカバーし、精神保健関連論文が96,676件にのぼるデータセットを構築した。
• BERTopicフレームワーク内にカスタムのSentence-BERTベースの埋め込みモデルを訓練し、文脈に応じた文書埋め込みを生成し、意味的に整合性のあるトピックにクラスタリングした。
• 複数の指標を用いてトピック品質を評価した：NPMI（正規化ポイントワイズ相互情報量）、Cv（トピック一貫性係数）、TD（トピック多様性）、Inv. RBO（逆順バイアスオーバーラップ）。
• 同じ評価指標を用いて、BERTopicの性能を2つの最先端ベースライン（LDA-BERTおよびTop2Vec）と比較した。
• GPT-3.5-turbo APIのプロンプトを活用し、論文に記載された機械学習手法を抽出・分類し、時間的推移に伴うトレンド分析を可能にした。
• GPT-3.5-turboで抽出した機械学習手法を基に、ワードクラウドを生成し、精神保健研究における機械学習モデルの頻度と顕著性を視覚的に表現した。特に2017年以前の伝統的機械学習から、2017年以降のニューラルネットワーク、NLP、CV、強化学習へのシフトが顕著に現れた。

Figure 1: 2D UMAP Visualization of BERTopic Clusters

実験結果

リサーチクエスチョン

• RQ1 2010年から2023年までの精神保健研究における代表的で新たな研究トピックは何か。特に新型コロナウイルス感染症（COVID-19）パンデミック期およびその後の動向を含めて。
• RQ2 精神保健関連論文に適用した際、BERTopicはLDA-BERTおよびTop2Vecと比べて、トピックの一貫性、多様性、解釈可能性においてどのように優れているか。
• RQ3 精神保健研究における機械学習手法のトレンドは何か。時間経過に伴いどのように変化してきたか。
• RQ4 トピックモデリングの出力に最も顕著に現れる臨床的および心理社会的テーマは何か。それらは研究の優先順位をどのように示しているか。

主な発見

• BERTopicは、トピック多様性（TDスコア0.7208）とトピック一貫性（Cvスコア0.8068）の両面で、LDA-BERTおよびTop2Vecを上回り、より高品質で解釈可能なトピックを生成した。
• BERTopicは、各トピック内の語の意味的整合性を示す正規化ポイントワイズ相互情報量（NPMI）スコア0.2892を達成した。
• Top2Vecは、語の順序類似性と多様性を示す指標で最高のInv. RBOスコア（0.9669）を記録したが、全体の一貫性と解釈可能性ではBERTopicが上回った。
• トピックモデリングにより、自殺（「自殺的」、「思いつも」、「試み」などの語を含む）、薬物使用（たばこ、カンナビノイド、オピオイド）、自閉症における親子関係といった主要なテーマが明らかになった。
• GPT-3.5-turboで抽出した機械学習手法に基づくワードクラウドでは、2017年以前は伝統的機械学習が支配的であったが、2017年以降はニューラルネットワーク、NLP、CV、強化学習へのシフトが明確に可視化された。
• 本研究では、GitHub（https://github.com/stella-gao/Mental-Health-Research-Paper-Dataset）を通じて、公開可能なデータセットとモデルを提供しており、再現性と今後の研究を支援する。

Figure 2: Word Scores of Top 8 Topics from BERTopic