[论文解读] CAMS: An Annotated Corpus for Causal Analysis of Mental Health Issues in Social Media Posts

Muskan Garg, Chandni Saxena+5 more|arXiv (Cornell University)|Jul 11, 2022

Mental Health via Writing被引用 25

一句话总结

CAMS 引入一个公开可用的带注释语料库，用于 Reddit 帖子中可解释的因果分析精神健康，标注直接原因为六类并对该任务的分类器进行评估。逻辑回归在准确性方面优于深度模型。

ABSTRACT

Research community has witnessed substantial growth in the detection of mental health issues and their associated reasons from analysis of social media. We introduce a new dataset for Causal Analysis of Mental health issues in Social media posts (CAMS). Our contributions for causal analysis are two-fold: causal interpretation and causal categorization. We introduce an annotation schema for this task of causal analysis. We demonstrate the efficacy of our schema on two different datasets: (i) crawling and annotating 3155 Reddit posts and (ii) re-annotating the publicly available SDCNL dataset of 1896 instances for interpretable causal analysis. We further combine these into the CAMS dataset and make this resource publicly available along with associated source code: https://github.com/drmuskangarg/CAMS. We present experimental results of models learned from CAMS dataset and demonstrate that a classic Logistic Regression model outperforms the next best (CNN-LSTM) model by 4.9\% accuracy.

研究动机与目标

• 在社交媒体帖子中定义可解释的精神健康因果分析。
• 为精神健康问题的直接原因创建注释方案和语料库。
• 抓取并标注 Reddit 数据，并对 SDCNL 数据集进行再注释以形成 CAMS。
• 使用专家评审和 Fleiss’ Kappa 收集一致性来验证注释。
• 在 CAMS 上评估机器学习基线，以建立因果分类的可行性。

提出的方法

• 提出六类因果分类方案：无原因、偏见/滥用、工作/职业、药物、关系、疏离。
• 按文本、原因和推理进行标注，得到临床专家指导。
• 将抓取的 Reddit 数据（最终 3155）与重新注释的 SDCNL 数据（SDCNL 训练/测试）结合，形成 CAMS（总计 5051）。
• 使用评注者间一致性（Fleiss’ Kappa）来验证跨数据集的可靠性。
• 使用 GloVe 100-d 向量对文本进行预处理并训练多种分类器。
• 在 CAMS 指标上评估 LR、SVM、LSTM、CNN、GRU、Bi-LSTM、Bi-GRU 及混合模型（每类的 F1 和准确率）。

实验结果

研究问题

• RQ1 公开注释语料库是否能够实现对社交媒体帖子中精神健康原因的可解释因果分析？
• RQ2 帖子中精神健康原因的六个因果类别是什么，人工注释的可靠性如何？
• RQ3 传统模型和深度学习模型在 CAMS 的多类因果分类上表现如何？
• RQ4 用抓取数据进行扩充是否能改善类别平衡和模型性能？
• RQ5 自动因果分类在常见错误模式与局限性是什么？

主要发现

• CAMS 在六个原因类别中产生了 5051 个注释实例。
• 逻辑回归在所有测试模型中实现了最高的整体准确率，为 0.5013（在 CAMS 测试数据上）。
• CNN-LSTM（混合）是在所测试的深度学习模型中表现最佳，准确率为 0.4778。
• 深度模型通常不及 LR，在此任务上由于类别重叠和数据特征。
• 在所有模型中，Alienation 与 Relationship 因果更具挑战性，常与 Bias/Abuse 和 Medication 混淆。
• CAMS 的评注者间一致性为 61.28%，在任务主观性的前提下，表明有相当程度的可靠性但并不完美。