[论文解读] Domain-specific Continued Pretraining of Language Models for Capturing Long Context in Mental Health

Shaoxiong Ji, Tianlin Zhang+4 more|arXiv (Cornell University)|Apr 20, 2023

Mental Health via Writing被引用 16

一句话总结

本论文在 Reddit 数据上训练领域特定的长上下文语言模型 MentalXLNet 与 MentalLongformer，并评估它们在精神健康分类和长程文本理解方面的有效性。 MentalLongformer 在较长文档上通常表现出色。

ABSTRACT

Pretrained language models have been used in various natural language processing applications. In the mental health domain, domain-specific language models are pretrained and released, which facilitates the early detection of mental health conditions. Social posts, e.g., on Reddit, are usually long documents. However, there are no domain-specific pretrained models for long-sequence modeling in the mental health domain. This paper conducts domain-specific continued pretraining to capture the long context for mental health. Specifically, we train and release MentalXLNet and MentalLongformer based on XLNet and Longformer. We evaluate the mental health classification performance and the long-range ability of these two domain-specific pretrained models. Our models are released in HuggingFace.

研究动机与目标

• 通过领域特定的持续预训练提升精神健康分类性能。
• 使在精神健康数据中常见的长文档（如 Reddit 帖子）得以有效建模。
• 在多个数据集上将长上下文模型（Longformer、XLNet）与领域特定基线进行比较。
• 为精神健康任务中的短文本与长文本的模型选择提供指南。

提出的方法

• 在精神健康领域继续对 XLNet 和 Longformer 进行预训练，使用来自相关子版块的 Reddit 基语料。
• 在多个精神健康分类数据集上对短文本和长文本进行评估。
• 使用汇聚的最后一层表示和一个 MLP 分类器进行微调。
• 与普通预训练模型、领域特定基线以及零-shot ChatGPT 基线进行比较。
• 通过改变输入序列长度并观察性能趋势来分析长程能力。

Figure 1: Median number of tokens in the datasets

实验结果

研究问题

• RQ1 领域特定的持续预训练是否能在多样化数据集上提升精神健康分类？
• RQ2 在短文本与长文本上，长上下文模型相比标准和领域特定基线有何差异？
• RQ3 增加输入序列长度对精神健康任务的长程建模有何影响？
• RQ4 在较长文档（如 CLPsych15）与较短帖子（如 Dreaddit、SAD 数据集）之间，哪种模型更适用？

主要发现

• MentalXLNet 与 MentalLongformer 在分类任务上优于大多数基线，尤其是对于较长序列如 CLPsych15。
• MentalLongformer 对长文本表现强劲，在应用领域特定预训练时常常达到或超过 Longformer 的水平。
• MentalRoBERTa 在较短、512 token 的数据集（Dreaddit）上表现最佳，而 MentalLongformer 在较长输入时具有优势。
• 对于长程分析，通常增加序列长度可以提高召回率和 F1，但也存在波动。
• 领域特定的持续预训练在若干数据集上相较非领域特定的 Longformer/XLNet 基线带来持续性收益。