[论文解读] Continuous speech separation: dataset and analysis

Zhuo Chen, Takuya Yoshioka+7 more|arXiv (Cornell University)|Jan 30, 2020

Speech and Audio Processing参考文献 36被引用 11

一句话总结

本文提出 LibriCSS，一个模拟会议中连续重叠语音的真实世界多通道数据集，并建立基于 Kaldi 的语音识别（ASR）评估协议，用于连续语音分离（CSS）。结果表明，即使先进的 CSS 方法在高重叠率和麦克风数量有限的情况下性能仍会显著下降，凸显了实验室基准测试与真实世界部署之间的差距。

ABSTRACT

This paper describes a dataset and protocols for evaluating continuous speech separation algorithms. Most prior studies on speech separation use pre-segmented signals of artificially mixed speech utterances which are mostly \emph{fully} overlapped, and the algorithms are evaluated based on signal-to-distortion ratio or similar performance metrics. However, in natural conversations, a speech signal is continuous, containing both overlapped and overlap-free components. In addition, the signal-based metrics have very weak correlations with automatic speech recognition (ASR) accuracy. We think that not only does this make it hard to assess the practical relevance of the tested algorithms, it also hinders researchers from developing systems that can be readily applied to real scenarios. In this paper, we define continuous speech separation (CSS) as a task of generating a set of non-overlapped speech signals from a extit{continuous} audio stream that contains multiple utterances that are \emph{partially} overlapped by a varying degree. A new real recorded dataset, called LibriCSS, is derived from LibriSpeech by concatenating the corpus utterances to simulate a conversation and capturing the audio replays with far-field microphones. A Kaldi-based ASR evaluation protocol is also established by using a well-trained multi-conditional acoustic model. By using this dataset, several aspects of a recently proposed speaker-independent CSS algorithm are investigated. The dataset and evaluation scripts are available to facilitate the research in this direction.

研究动机与目标

• 解决实验室语音分离基准与真实世界对话应用之间的脱节问题，后者中语音是连续且部分重叠的。
• 克服预分割数据集和基于信号的指标（如 SDR、SISNR）与 ASR 准确率相关性差的局限性。
• 构建一个包含重叠检测、说话人分割和端到端 ASR 性能的连续语音分离（CSS）真实评估框架。
• 利用基于真实录音的数据集，研究麦克风配置和延迟对 CSS 性能的影响。
• 通过在具有可变重叠率的连续音频流上评估系统，弥合语音分离研究与实际部署之间的差距。

提出的方法

• 通过将 LibriSpeech 语音样本拼接成类似会议的连续音频流，并在真实房间中使用远场麦克风录制，构建 LibriCSS 数据集。
• 使用基于排列不变训练（PIT）的说话人无关语音分离模型，从连续混合信号中生成非重叠语音流。
• 在连续输入上通过词错误率（WER）评估分离性能，采用基于 Kaldi 的 ASR 流水线和多条件声学模型。
• 在不同重叠率（0% 至 40%）和不同麦克风配置（1ch 至 7ch）下评估系统，包括空间排列（线性、三角形、圆形）。
• 采用带前瞻（N_L, N_C, N_R）的分块推理以模拟实时处理，并测量固有延迟。
• 以 MVDR 波束成形作为基线，与基于掩码的分离方法及无分离方案进行比较，以隔离 CSS 对下游 ASR 的影响。

Fig. 1 : Example recording setup (left) and microphone array geometry (right).

实验结果

研究问题

• RQ1 在类似真实世界的声音流中，随着重叠率增加，连续语音分离的性能如何变化？
• RQ2 在使用连续语音分离时，麦克风数量和空间配置在多大程度上影响下游 ASR 的 WER？
• RQ3 说话人无关的 CSS 系统能否在无重叠段上保持或提升 ASR 性能，是否会引入失真？
• RQ4 从前瞻和分块中产生的固有处理延迟在连续输入场景下如何影响 ASR 性能？
• RQ5 当话语间间隔从 3 秒减少到 0.5 秒或更短时，语音分离对 WER 的相对影响是什么？

主要发现

• 当话语间间隔从 3 秒（0L）减少到 0.5 秒或更短（0S）时，无分离基线的 WER 相对提高了 33.9%，表明缺乏静音的发言切换会损害 ASR 性能。
• CSS 系统将因短间隔导致的 WER 相对增加降低至 22.7%，表明分离可缓解相邻话语带来的性能下降。
• 在七麦克风配置下，CSS 系统将 WER 从无分离时的 43.3% 降低至 40% 重叠率下的 21.9%，显示出在高重叠率下的显著改进。
• 单麦克风和三麦克风系统在无重叠段上常导致 WER 下降，表明波束成形或分离在无需时可能引入失真。
• 采用前瞻（如 1.2-0.8-0.4）的系统优于无前瞻（如 1.6-0.8-0.0）的系统，表明未来上下文有助于提升分离质量。
• 三麦克风线性布局在 40% 重叠率下达到 30.1% 的 WER，而三角形布局为 36.0%，表明空间配置对性能有显著影响。

Fig. 2 : Generating TF masks in a streaming fashion by using a sliding window. Output orders for each pair of neighboring chunks are aligned by using the frames that the two chunks share.