[论文解读] Evaluating Word Embeddings for Sentence Boundary Detection in Speech Transcripts

Marcos Treviso, Christopher Shulby+1 more|arXiv (Cornell University)|Aug 15, 2017

Topic Modeling参考文献 30被引用 13

一句话总结

本论文评估了词嵌入模型——Word2vec、FastText 和 Wang2vec——在认知障碍患者语音转录文本中的句子边界检测（SBD）表现。采用不同维度（50–600）的嵌入向量，结合循环卷积神经网络（RCNN）进行实验，结果表明：在认知功能正常患者中，Word2vec（Skip-gram，600D）取得最高 F1 分数（0.76）；在轻度认知障碍（MCI）患者中，Wang2vec（Skip-gram，600D）表现最佳（F1=0.74）；在阿尔茨海默病（AD）患者中，F1 分数为 0.66。该模型在某些情况下优于使用语音特征的最先进模型。

ABSTRACT

This paper is motivated by the automation of neuropsychological tests involving discourse analysis in the retellings of narratives by patients with potential cognitive impairment. In this scenario the task of sentence boundary detection in speech transcripts is important as discourse analysis involves the application of Natural Language Processing tools, such as taggers and parsers, which depend on the sentence as a processing unit. Our aim in this paper is to verify which embedding induction method works best for the sentence boundary detection task, specifically whether it be those which were proposed to capture semantic, syntactic or morphological similarities.

研究动机与目标

• 评估语义（Word2vec）、句法（Wang2vec）和形态（FastText）三种词嵌入方法中，哪一种在口语转录中对句子边界检测（SBD）表现最佳。
• 评估嵌入维度（50、100、300、600）和训练策略（CBOW、Skip-gram）对 SBD 性能的影响。
• 确定仅依靠词汇线索的嵌入模型是否能达到与结合词汇和语音特征的最先进模型相当的性能。
• 探究不同语音类型（自发/受损语音：CTL、MCI、AD；准备性语音：Constitution 数据集）下的性能差异。
• 评估基于嵌入的模型在处理受损语音中常见的不流畅表达和 OOV（未登录词）时的有效性。

提出的方法

• 使用循环卷积神经网络（RCNN）作为句子边界检测的分类模型，采用交叉熵损失和 RMSProp 优化器进行训练。
• 词嵌入通过 Word2vec（Skip-gram 和 CBOW）、FastText（CBOW）和 Wang2vec（Skip-gram）训练，向量维度范围为 50 至 600。
• 采用五折交叉验证进行模型训练，通过加权损失函数对少数类错误施加更大惩罚，以缓解类别不平衡问题。
• 文本预处理包括标准化、特殊字符移除和分词处理，不使用标点符号或大小写信息进行分割。
• 性能通过 F1 分数进行评估，结果按患者群体（CTL、MCI、AD）和 Constitution 数据集（准备性语音）分别报告。
• 本研究将仅使用嵌入的模型性能与以往结合词汇和语音特征的研究进行对比，突出纯文本表示的贡献。

实验结果

研究问题

• RQ1 在口语转录中，语义（Word2vec）、句法（Wang2vec）或形态（FastText）词嵌入方法中，哪一种能为句子边界检测（SBD）带来最高的 F1 分数？
• RQ2 不同训练策略（Skip-gram 与 CBOW）对不同嵌入模型的 SBD 性能有何影响？
• RQ3 将嵌入维度从 50 增加到 600 是否能一致地提升不同语音类型下的 SBD 性能？
• RQ4 仅使用嵌入的模型能否达到与结合词汇和语音特征的最先进模型相当的性能？
• RQ5 在不同语音类型之间（自发/受损语音：CTL、MCI、AD；准备性语音：Constitution），性能差异如何变化？

主要发现

• 在认知功能正常患者（CTL）群体中，Word2vec（Skip-gram，600D）达到最高 F1 分数 0.76。
• 在轻度认知障碍（MCI）患者中，Wang2vec（Skip-gram，600D）表现最佳，F1 分数为 0.74。
• 在阿尔茨海默病（AD）转录文本中，Word2vec（CBOW，300D）取得最佳 F1 分数 0.66。
• 在 Constitution 数据集（准备性语音）中，Wang2vec（Skip-gram，300D）达到最高 F1 分数 0.62。
• 性能通常随嵌入维度增加而提升，600D 向量在大多数模型和患者群体中表现最佳。
• 仅使用嵌入的模型在 CTL 和 MCI 群体中达到与最先进模型（结合词汇和语音特征）相当的性能（F1 分数相差小于 1%），但在 Constitution 数据集中性能较低（F1 差距达 17%）。