[论文解读] Lhotse: a speech data representation library for the modern deep learning ecosystem

Piotr Żelasko, Daniel Povey+2 more|arXiv (Cornell University)|Oct 25, 2021

Speech Recognition and Synthesis参考文献 12被引用 10

一句话总结

Lhotse 是一个现代的语音数据表示库，通过引入基于 JSON 的统一清单格式以及用于录音、监督信息和切分的 Python 类，简化了多样语音语料库的处理。它通过 Cut 和 CutSet 抽象实现灵活、惰性化的数据准备，适用于深度学习，原生集成 PyTorch 的数据 API，支持在运行时进行特征提取、增强处理以及在大规模数据集上实现低内存开销的分布式训练。

ABSTRACT

Speech data is notoriously difficult to work with due to a variety of codecs, lengths of recordings, and meta-data formats. We present Lhotse, a speech data representation library that draws upon lessons learned from Kaldi speech recognition toolkit and brings its concepts into the modern deep learning ecosystem. Lhotse provides a common JSON description format with corresponding Python classes and data preparation recipes for over 30 popular speech corpora. Various datasets can be easily combined together and re-purposed for different tasks. The library handles multi-channel recordings, long recordings, local and cloud storage, lazy and on-the-fly operations amongst other features. We introduce Cut and CutSet concepts, which simplify common data wrangling tasks for audio and help incorporate acoustic context of speech utterances. Finally, we show how Lhotse leverages PyTorch data API abstractions and adopts them to handle speech data for deep learning.

研究动机与目标

• 为解决语音数据格式、编解码器和元数据模式的复杂性与异构性，这些因素阻碍了深度学习研究。
• 通过提供一个现代、Pythonic 且直观的 API，降低非语音机器学习从业者在语音数据处理方面的入门门槛。
• 为各种语音任务（如自动语音识别、文本到语音合成、语音活动检测和说话人分离）提供灵活、高效且可扩展的数据流水线构建能力。
• 通过利用 PyTorch 的数据 API 抽象，弥合 Kaldi 强大但复杂的管理方式与现代深度学习工作流之间的差距。
• 提供一个可重用、开源的语音数据处理基础，支持运行时和预计算的特征提取，且内存使用量极低。

提出的方法

• 引入 Cut 和 CutSet 抽象，用于表示具有精确时间对齐、声学上下文和相关元数据的音频片段，实现灵活的数据组合。
• 定义四种核心清单类型：Recording、SupervisionSegment、Features 和 Cut，每种均映射到具有 I/O、操作和惰性求值方法的 Python 类。
• 通过单一 API（如 Recording.load_audio()）支持从本地、远程或云存储（如 S3）加载统一数据，并原生支持多种音频编解码器（如 FLAC、OPUS、PCM）。
• 利用 PyTorch 的 Dataset、Sampler 和 DataLoader 抽象，通过自定义实现（如 SingleCutSampler、CutPairsSampler、BucketingSampler 和 ZipSampler）满足多样化的训练需求。
• 通过仅在需要时读取指定音频片段，实现混合、截断、填充和增强等惰性数据操作，最大限度减少内存消耗。
• 提供超过 30 种主流语音语料库的开箱即用数据准备配方，并支持与 Kaldi 数据目录之间的导入/导出。

实验结果

研究问题

• RQ1 如何将来自不同来源、采用不同编解码器、长度各异且元数据格式多样的语音数据，统一为一个单一、可管理的表示形式，以支持深度学习？
• RQ2 哪些抽象机制能够实现在大规模语音数据集上高效、可扩展且灵活的数据流水线构建，同时避免过度的内存使用？
• RQ3 如何将现代深度学习框架（如 PyTorch）与语音特定的数据处理需求（包括上下文感知采样和动态批处理）无缝集成？
• RQ4 该库在多大程度上能够降低数据准备的复杂性，同时保持与 Kaldi 等成熟工具的兼容性，并支持高级训练技术？
• RQ5 一个模块化、开源且可社区扩展的框架，是否能显著降低非专家从业者在语音 AI 领域的入门门槛？

主要发现

• Lhotse 通过基于清单的统一表示，实现了对孤立语音片段、长录音和多通道音频等多样化语音数据的无缝处理。
• Cut 和 CutSet 抽象支持灵活构建训练样本，可包含背景噪声或话语间依赖等声学上下文，且无需硬编码假设。
• 音频和元数据操作的惰性求值显著降低了内存使用，使在超大规模数据集（如数万小时）上实现高效训练成为可能，且开销极低。
• 该库原生支持运行时和预计算的特征提取，并集成了 lilcom 压缩引擎，实现高效的数据存储与检索。
• Lhotse 的采样器和数据集与 PyTorch 标准数据流水线完全兼容，包括分布式训练和通过分桶实现的动态批处理。
• 该库为超过 30 种主流语音语料库提供了开箱即用的数据准备配方，显著减少了研究人员的设置时间和复杂度。