[論文レビュー] Moving Beyond LDA: A Comparison of Unsupervised Topic Modelling Techniques for Qualitative Data Analysis of Online Communities

Amandeep Kaur, James R. Wallace|arXiv (Cornell University)|Dec 19, 2024

Computational and Text Analysis Methods被引用数 4

ひとこと要約

本研究では、オンラインコミュニティデータの定性的分析に対して、大規模言語モデル（LLM）に基づくトピックモデリング手法である BERTopic を、従来の手法（LDA および NMF）と比較して評価している。研究者たちは、BERTopic がより一貫性があり、詳細かつ論理的に整理されたトピックを生成できることを発見した。8名の参加者中12名が、トピックの深層的洞察と実行可能な知見を得るために BERTopic を好んだが、トピックの数が多くなるという課題も存在した。

ABSTRACT

Social media constitutes a rich and influential source of information for qualitative researchers. Although computational techniques like topic modelling assist with managing the volume and diversity of social media content, qualitative researcher's lack of programming expertise creates a significant barrier to their adoption. In this paper we explore how BERTopic, an advanced Large Language Model (LLM)-based topic modelling technique, can support qualitative data analysis of social media. We conducted interviews and hands-on evaluations in which qualitative researchers compared topics from three modelling techniques: LDA, NMF, and BERTopic. BERTopic was favoured by 8 of 12 participants for its ability to provide detailed, coherent clusters for deeper understanding and actionable insights. Participants also prioritised topic relevance, logical organisation, and the capacity to reveal unexpected relationships within the data. Our findings underscore the potential of LLM-based techniques for supporting qualitative analysis.

研究の動機と目的

• オンラインコミュニティにおける定性的データ分析の文脈で、LLMに基づくトピックモデリング手法 BERTopic の使いやすさと有効性を評価すること。
• プログラミングの専門知識が不足する定性的研究者が計算ベースのトピックモデリングツールを採用する際の障壁を解消すること。
• トピックの質、解釈可能性、研究者による好みの観点から、BERTopic を従来の手法（LDA および NMF）と比較すること。
• 大規模なソーシャルメディアデータを分析する定性的研究者を支援する計算ツールに求められる主な設計要件を同定すること。
• BERTopic を Computational Thematic Analysis（CTA）ツールキットに統合し、研究プロセスと知見生成への影響を評価すること。

提案手法

• CTA ツールキットに BERTopic を統合し、トランスフォーマーに基づく単語埋め込みと文脈理解の能力を活用してトピックモデリングを実施した。
• Reddit を含むオンラインコミュニティからの定性的データセットに、BERTopic、LDA、NMF を適用し、トピック出力の比較を行った。
• モデルのパフォーマンスを定量的に評価するために、トピックの整合性と多様性の指標を用い、整合性を主な評価基準とした。
• 12名の定性的研究者を対象に、半構造化インタビューを実施し、使いやすさ、トピックの解釈可能性、各手法に対する好みを評価した。
• 研究者が自らのデータセットに CTA ツールキットを実際に適用するハンズオン評価を実施し、各モデル間でのトピッククラスタの比較を行った。
• 計算リソースの要件に対応するため、GPU の利用を可能にし、BERTopic の要件を満たすためにデータフィルタリングおよび事前処理パイプラインを改変した。

Figure 1. Modeling and Sampling Module in the CTA Toolkit with BERTopic Integration: Model Details, a Topic List with keywords, Sample List of entries on the left side, and a Chord Graph for with Topics as Word clouds on the right. This layout facilitates detailed and comprehensive analysis of topic

実験結果

リサーチクエスチョン

• RQ1 定性的研究者が、LDA や NMF と比較して、BERTopic が生成するトピックの整合性、関連性、解釈可能性をどのように評価しているか。
• RQ2 特にプログラミングのスキルとデータの事前処理の観点から、定性的研究者が従来のトピックモデリングツールを使用する際に直面する主な課題は何か。
• RQ3 BERTopic は、オンラインコミュニティの定性的データ内に隠れた予期しない関係をどのように発見し、より深い理解を可能にするか。
• RQ4 トピックの構造や論理的な整理、実行可能な知見の観点から、研究者がトピックモデリング手法を選択する際に重視する要因は何か。
• RQ5 可視化、検索、階層的構造といった、LLMに基づくトピックモデルの定性的研究における使いやすさを向上させるために最も求められる設計要因は何か。

主な発見

• 12名中8名の定性的研究者が、詳細で一貫性があり、論理的に整理されたトピッククラスタを生成できる点から、BERTopic を好んだ。
• BERTopic は、トピックの整合性と多様性の指標において LDA や NMF を上回り、質の高い、意味のあるトピック表現であることが示された。
• 研究者たちは、BERTopic がデータ内に隠れた予期しないが重要な関係を明らかにできることを高く評価し、より深く、洗練された分析が可能になったと感じた。
• 一方で、BERTopic が生成するトピックの数が多く、一部の参加者には負担に感じられた。これは、より良い階層的可視化の必要性を示唆している。
• LDA や NMF は、不要な記号や数学記号の影響で、手作業によるデータクリーニングが多数必要だったが、BERTopic はそれほど多くの事前処理を要しなかった。
• CTA ツールキットに階層的可視化が欠けていることが、主な制限要因として特定され、研究者が複雑なトピック構造を効果的に探索できないことが制限要因となった。

Figure 2. Chord diagram for LDA on the r/MachineLearning dataset, highlighting critiques of irrelevant symbols and the presence of mathematical symbols.