[论文解读] "Is depression related to cannabis?": A knowledge-infused model for Entity and Relation Extraction with Limited Supervision

Kaushik Roy, Usha Lokala+2 more|arXiv (Cornell University)|Feb 1, 2021

Sentiment Analysis and Opinion Mining参考文献 50被引用 9

一句话总结

本论文提出了一种知识增强的少样本关系抽取框架，结合GPT-3与监督对比学习，用于识别社交媒体文本中与抑郁-大麻关系（原因、影响、成瘾）相关的关系，尽管人工标注数据有限，仍实现了优于当前最先进模型的性能。该方法利用药物滥用本体（Drug Abuse Ontology）以及DSM-5/PHQ-9词典增强上下文理解，并生成了一个高质量、公开可用的11,000条推文数据集，包含预测标签。

ABSTRACT

With strong marketing advocacy of the benefits of cannabis use for improved mental health, cannabis legalization is a priority among legislators. However, preliminary scientific research does not conclusively associate cannabis with improved mental health. In this study, we explore the relationship between depression and consumption of cannabis in a targeted social media corpus involving personal use of cannabis with the intent to derive its potential mental health benefit. We use tweets that contain an association among three categories annotated by domain experts - Reason, Effect, and Addiction. The state-of-the-art Natural Langauge Processing techniques fall short in extracting these relationships between cannabis phrases and the depression indicators. We seek to address the limitation by using domain knowledge; specifically, the Drug Abuse Ontology for addiction augmented with Diagnostic and Statistical Manual of Mental Disorders lexicons for mental health. Because of the lack of annotations due to the limited availability of the domain experts' time, we use supervised contrastive learning in conjunction with GPT-3 trained on a vast corpus to achieve improved performance even with limited supervision. Experimental results show that our method can significantly extract cannabis-depression relationships better than the state-of-the-art relation extractor. High-quality annotations can be provided using a nearest neighbor approach using the learned representations that can be used by the scientific community to understand the association between cannabis and depression better.

研究动机与目标

• 为解决在社交媒体文本中提取大麻与抑郁之间细微关系时缺乏标注数据的问题。
• 通过整合药物滥用本体以及DSM-5/PHQ-9词典中的领域特定知识，提升在低资源环境下的关系抽取性能。
• 提出一种基于监督对比学习的少样本学习方法，利用GPT-3表示减少对大规模人工标注的依赖。
• 生成一个高质量、公开可用的11,000条推文数据集，包含预测标签，用于支持未来心理健康研究。
• 证明知识注入在监督资源有限的专门心理健康领域中能显著提升关系抽取性能。

提出的方法

• 该框架使用GPT-3为推文生成上下文嵌入，捕捉自然语言中的语义与句法模式。
• 通过在药物滥用本体（DAO）中整合DSM-5、PHQ-9、SNOMED-CT、ICD-10和MeSH术语，注入领域知识，以丰富实体与关系的表示。
• 应用监督对比学习，仅使用3,000条人工标注的推文对模型进行微调，提升在有限监督下的泛化能力。
• 利用学习到的表示对无标签推文进行聚类，并通过多数投票法分配聚类标签，以预测关系类型（原因、影响、成瘾）。
• 采用最近邻方法将高置信度预测传播至无标签数据，实现半监督学习。
• 模型架构集成了知识感知的损失函数，使相关实体与关系的表示对齐，增强不同关系类型之间的判别能力。

实验结果

研究问题

• RQ1 知识增强的NLP模型是否能在人工标注数据有限的情况下，优于当前最先进关系抽取器，准确识别抑郁-大麻关系？
• RQ2 GPT-3表示与领域知识结合后，能否有效提升心理健康文本中少样本关系抽取的性能？
• RQ3 当仅有少量标注样本时，监督对比学习在多大程度上能增强模型的泛化能力？
• RQ4 基于学习表示引导的无监督推文嵌入聚类，能否准确预测三种关系类型（原因、影响、成瘾）？
• RQ5 来自医学与成瘾本体的知识注入在多大程度上提升了社交媒体数据中抽取关系的可解释性与可靠性？

主要发现

• 所提出的方法在识别抑郁-大麻关系方面显著优于当前最先进关系抽取器，即使在监督资源有限的情况下亦表现优异。
• 将药物滥用本体与DSM-5及PHQ-9词典结合，显著提升了模型识别与抑郁和大麻相关的临床术语及俚语的能力。
• 监督对比学习增强了表示学习，使推文更有效地聚类为三类关系（原因、影响、成瘾），t-SNE可视化结果清晰展示了这一效果。
• 通过聚类与最近邻标注相结合的方法，模型在11,000条无标签推文上实现了高质量预测，形成可靠的研究数据集。
• t-SNE可视化结果证实，学习到的表示能清晰分离三类关系，表明模型有效区分了语义角色。
• 最终生成的11,000条推文数据集（含3,000条人工标注与8,000条预测标签）已公开发布，以支持大麻与抑郁相关研究的可复现性。