[论文解读] belabBERT: a Dutch RoBERTa-based language model applied to psychiatric classification

Joppe Wouts, Janna N. de Boer+4 more|arXiv (Cornell University)|Jun 2, 2021

Mental Health via Writing被引用 4

一句话总结

本文提出了 belabBERT，一种基于 RoBERTa 的荷兰语语言模型，其在 32 GB 的荷兰语网络语料上进行微调，以提升精神病分类性能。该模型在从临床文本中识别精神病性障碍方面，优于现有的 RobBERT 模型和仅使用音频的分类方法，证明了大规模、上下文相关的自然语言处理技术在低资源语言（如荷兰语）中的有效性。

ABSTRACT

Natural language processing (NLP) is becoming an important means for automatic recognition of human traits and states, such as intoxication, presence of psychiatric disorders, presence of airway disorders and states of stress. Such applications have the potential to be an important pillar for online help lines, and may gradually be introduced into eHealth modules. However, NLP is language specific and for languages such as Dutch, NLP models are scarce. As a result, recent Dutch NLP models have a low capture of long range semantic dependencies over sentences. To overcome this, here we present belabBERT, a new Dutch language model extending the RoBERTa architecture. belabBERT is trained on a large Dutch corpus (+32 GB) of web crawled texts. We applied belabBERT to the classification of psychiatric illnesses. First, we evaluated the strength of text-based classification using belabBERT, and compared the results to the existing RobBERT model. Then, we compared the performance of belabBERT to audio classification for psychiatric disorders. Finally, a brief exploration was performed, extending the framework to a hybrid text- and audio-based classification. Our results show that belabBERT outperformed the current best text classification network for Dutch, RobBERT. belabBERT also outperformed classification based on audio alone.

研究动机与目标

• 为解决荷兰语中高性能自然语言处理模型稀缺的问题，特别是捕捉长距离语义依赖关系的能力。
• 开发一种稳健的、大规模的语言表征模型，专为荷兰语精神病文本分类而设计。
• 比较使用 belabBERT 的基于文本的分类性能与现有模型（如 RobBERT）以及基于音频的分类方法的性能。
• 探索结合文本与音频的分类方法在提升精神病性障碍检测方面的潜力。

提出的方法

• 在超过 32 GB 的网络爬取数据构成的大规模荷兰语文本语料上，对 RoBERTa 架构进行微调。
• 利用掩码语言建模和下一句预测的预训练目标，学习上下文表征。
• 在精神病分类数据集上对预训练的 belabBERT 模型进行微调，以提升下游任务的性能。
• 使用标准评估指标，将 belabBERT 在纯文本任务上的分类性能与 RobBERT 进行对比。
• 使用语音特征评估基于音频的分类模型在相同的精神病分类任务中的表现。
• 探索一种结合 belabBERT 文本嵌入与音频嵌入的混合框架，用于联合分类。

实验结果

研究问题

• RQ1 像 belabBERT 这样基于大规模 RoBERTa 的语言模型，是否能在与现有模型相比时，提升荷兰语中文本分类的精神病性障碍识别性能？
• RQ2 使用 belabBERT 的基于文本的分类方法与基于音频的分类方法在检测精神病性障碍方面相比如何？
• RQ3 结合文本和音频特征在多大程度上能提升精神病诊断中的分类性能？
• RQ4 使用更大、更丰富的荷兰语预训练语料是否能提升在精神病文本中对长距离语义依赖关系的理解？

主要发现

• belabBERT 在基于文本的精神病分类任务中，优于现有的最先进荷兰语模型 RobBERT。
• belabBERT 的性能优于仅使用音频的分类模型，表明文本特征在此任务中具有更强的表征能力。
• 结合文本与音频的混合分类框架展现出潜力，尽管未详细说明具体的定量提升。
• 由于在多样化荷兰语文本上进行了大规模预训练，该模型在捕捉长距离语义依赖关系方面表现更优。
• 结果证实，大规模、多语言预训练对低资源语言（如荷兰语）在临床自然语言处理应用中的价值。
• 注意到与先前工作（arXiv:2008.01543）存在大量文本重叠，表明该模型架构是逐步演进而来的。