[论文解读] HarperValleyBank: A Domain-Specific Spoken Dialog Corpus

Mike Wu, Jonathan Nafziger+2 more|arXiv (Cornell University)|Oct 26, 2020

Topic Modeling参考文献 34被引用 12

一句话总结

HarperValleyBank 是一个公开的、领域特定的口语对话语料库，包含23小时的人与人之间的银行对话，附带意图、对话行为、说话人身份和情感极性标注。本文在该语料库上使用对比学习方法（如 SimCLR、MoCo）建立了无监督表示学习基线，结果显示这些模型在意图预测任务上相比 Wav2Vec 最多实现了70%的相对性能提升，尽管在对话行为预测方面仍具挑战性，即使经过大规模预训练。

ABSTRACT

We introduce HarperValleyBank, a free, public domain spoken dialog corpus. The data simulate simple consumer banking interactions, containing about 23 hours of audio from 1,446 human-human conversations between 59 unique speakers. We selected intents and utterance templates to allow realistic variation while controlling overall task complexity and limiting vocabulary size to about 700 unique words. We provide audio data along with transcripts and annotations for speaker identity, caller intent, dialog actions, and emotional valence. The data size and domain specificity makes for quick transcription experiments with modern end-to-end neural approaches. Further, we provide baselines for representation learning, adapting recent work to embed waveforms for downstream prediction tasks. Our experiments show that tasks using our annotations are sensitive to both the model choice and corpus size.

研究动机与目标

• 为口语处理研究与教育提供一个免费、可管理且真实的语料库。
• 支持面向目标的口语对话系统中端到端神经网络模型和多任务学习的评估。
• 为语音表示学习建立无监督基线，使其能有效迁移到下游任务（如意图和行为预测）。
• 评估模型架构和语料库规模对低资源环境下表示质量的影响。
• 支持在口语对话系统中跨领域迁移学习与表示对齐的研究。

提出的方法

• 语料库通过 Gridspace Mixer 平台收集，将众包工作者配对为顾客和客服，模拟银行交易。
• 对话使用模板进行脚本化，以控制词汇量（约700个词），确保意图和槽位的多样性，同时保持任务简单性。
• 音频数据与转录文本及说话人身份、来电者意图、对话行为和情感极性标注配对。
• 无监督表示学习采用源自计算机视觉的对比学习方法：实例判别（IR）、局部聚合（LA）、动量对比（MoCo）和 SimCLR。
• 从波形计算频谱图，进行z分数标准化，并通过时间/频率掩码或波形裁剪进行数据增强；通过在线性探测在下游任务上评估表示性能。
• 预训练使用100小时或960小时的 LibriSpeech 数据，模型在 HarperValleyBank 上微调以完成说话人、意图、行为和情感预测任务。

实验结果

研究问题

• RQ1 无监督语音表示学习方法在小规模、领域特定的口语对话语料库上效果如何？
• RQ2 在更大规模语音数据集上进行预训练，能在多大程度上提升在意图和对话行为预测任务上的下游性能？
• RQ3 不同对比学习目标（如 SimCLR、MoCo）在学习对话任务的判别性语音表示方面表现如何比较？
• RQ4 为何即使经过大规模预训练，对话行为预测对无监督表示而言仍特别困难？
• RQ5 大规模预训练的表示迁移能否有效提升低资源、面向目标的对话系统性能？

主要发现

• 对比学习方法（如 SimCLR、MoCo）在意图预测任务上优于监督基线，相比 Wav2Vec 最多实现70%的相对性能提升。
• 最佳无监督模型在使用960小时 LibriSpeech 数据预训练时，情感极性预测的F1值达到55.5%，意图预测的F1值为27.3%。
• 对话行为预测仍是重大挑战，最佳无监督模型的F1值仅为17.4%，远低于监督方法。
• 频谱增强（时间/频率掩码）提升了对话行为和情感预测的性能，尤其对 LA 和 MoCo 模型效果更明显。
• 使用960小时 LibriSpeech 数据预训练相比100小时预训练，在意图和说话人识别任务上分别实现了10-15%的绝对性能提升。
• Wav2Vec-2.0 在960小时数据上预训练的意图预测F1值为27.3%，而相同数据上 SimCLR 的F1值也为27.3%，表明不同对比目标在性能上表现相当。