[论文解读] Hierarchical Attention Network for Explainable Depression Detection on Twitter Aided by Metaphor Concept Mappings

Sooji Han, Rui Mao+1 more|arXiv (Cornell University)|Sep 15, 2022

Mental Health via Writing被引用 20

一句话总结

本文提出了一种可解释的分层注意网络（HAN），用于在Twitter上检测抑郁，同时利用隐喻概念映射（MCMs）来提升性能与可解释性。它在公开的MDL数据集上取得了最先进的结果，并为预测提供基于注意力的解释。

ABSTRACT

Automatic depression detection on Twitter can help individuals privately and conveniently understand their mental health status in the early stages before seeing mental health professionals. Most existing black-box-like deep learning methods for depression detection largely focused on improving classification performance. However, explaining model decisions is imperative in health research because decision-making can often be high-stakes and life-and-death. Reliable automatic diagnosis of mental health problems including depression should be supported by credible explanations justifying models' predictions. In this work, we propose a novel explainable model for depression detection on Twitter. It comprises a novel encoder combining hierarchical attention mechanisms and feed-forward neural networks. To support psycholinguistic studies, our model leverages metaphorical concept mappings as input. Thus, it not only detects depressed individuals, but also identifies features of such users' tweets and associated metaphor concept mappings.

研究动机与目标

• 动机：在社交媒体上实现自动、隐私保护的抑郁筛查，以帮助及早干预，同时在健康场景中要求可解释的模型。
• 引入一个可解释的编码器，利用上下文层面的注意力来识别每个用户的重要推文和隐喻映射（MCMs）。
• 将MCM特征纳入抑郁检测流程，以提升性能并提供认知洞察。
• 在MDL抑郁数据集上与强基线进行比较评估，并通过注意力可视化分析可解释性。

提出的方法

• 将推文和MCMs与BERT-base-uncased进行嵌入以获得T0和C0嵌入。
• 使用新颖的两流分层注意编码器（HAN）在多层中反复细化推文与MCM表示（v_i^t, T_i 和 v_i^c, C_i）。
• 将最终的推文与MCM表示连接并通过一系列前馈网络产生类别概率。
• 通过MI（隐喻识别）、MP（隐喻释义）和CG（概念映射生成）将隐喻概念映射（MCMs）引入以从推文生成MCM特征。
• 使用交叉熵损失训练以预测抑郁与非抑郁状态。
• 通过检查推文和MCMs的注意力权重提供定性可解释性。

实验结果

研究问题

• RQ1 一个基于上下文层面的注意力编码器是否能从Twitter数据中提供可解释的抑郁预测？
• RQ2 隐喻概念映射（MCMs）是否提供互补信息，从而提升抑郁检测的性能与可解释性？
• RQ3 HAN编码器在准确性和参数效率方面与经典编码器（LSTM、GRU、Transformer变体）相比如何？
• RQ4 在不同数据划分和数据集上包含MCM特征对模型性能有何影响？

主要发现

• 所提出的HAN模型在MDL数据集上取得了最先进的性能，平均F1为0.972，准确率为0.971，覆盖五个划分。
• HAN在F1上平均比最强基线（Zogan et al. 2021）高出6.0%，在准确率上高出7.0%。
• 消融研究表明MCM提供了额外信息，HAN-MCM在MDL上的F1比HAN低1.1个百分点，在IMDL上低1.9个百分点，表明在显式抑郁线索被移除时，MCM有帮助。
• 两层的HAN编码器在F1上达到最佳（与其他配置持平或更好），且参数量比LSTM/GRU基线更少。
• 注意力可视化通过突出对预测抑郁状态影响最大的推文和MCMs，展示了可解释性。
• 模型在五个不同随机抽样的数据集上仍然表现稳健，表明性能稳定。