QUICK REVIEW

[论文解读] Auditory Machine Learning Training and Testing Pipeline: AMLTTP v3.0

Ivo Trowitzsch, Youssef Kashef|arXiv (Cornell University)|Feb 21, 2019

Music and Audio Processing参考文献 8被引用 12

一句话总结

本论文介绍了NIGENS，这是一个公开可用的音频数据库，包含1,017个孤立的高质量声音事件，涵盖14个类别（如警报声、狗吠声和钢琴声）以及303种通用声音，所有声音均带有精确的起始和结束时间标注。该数据集可支持声音事件检测任务的稳健训练与测试，特别结合AMLTTP v3.0可实现流程集成与复杂声学场景的合成。

ABSTRACT

NIGENS (Neural Information Processing group GENeral sounds) is a database provided for sound-related modeling in the field of computational auditory scene analysis, particularly for sound event detection, that has emerged from the Two!Ears project. It contains 1017 wav files of various lengths (between 1s and 5mins), in total comprising 4h:46m of sound material. Mostly, sounds are provided with 32-bit precision and 44100 Hz sampling rate. The files contain sound events in isolation, i.e. without superposition of ambient or other foreground sources. Fourteen distinct sound classes are included: alarm, crying baby, crash, barking dog, running engine, burning fire, footsteps, knocking on door, female and male speech, female and male scream, ringing phone, piano. Additionally, there is the general (“anything else”) class. Care has been taken to select sound classes representing different features, like noise-like or pronounced, discrete or continuous. The general class is a pool of sound events different than the 14 distuingished target sound classes, containing as heterogeneous sounds as possible (303 in total). For example, it includes nature sounds such as wind, rain, or animals, sounds from human-made environments such as honks, doors, or guns, as well as human sounds like coughs. These sounds are intended both as ``disturbance'' sound events (superposing) and as counterexamples to target sound classes. Wav files are accompanied by annotation (.txt) files that include perceptual on- and offset times of the file's sound events. You are free to use this database non-commercially under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 license. If you use this data set, please cite as: Ivo Trowitzsch, Jalil Taghia, Youssef Kashef, and Klaus Obermayer (2019). The NIGENS general sound events database. Technische Universität Berlin, Tech. Rep. arXiv:1902.08314 [cs.SD] In [1], we have developed and analyzed a robust binaural sound event detection training scheme using NIGENS. In [2], we have extended it to join sound event detection and localization through spatial segregation. [1] Trowitzsch, I., Mohr, J., Kashef, Y., Obermayer, K. (2017). Robust detection of environmental sounds in binaural auditory scenes. IEEE/ACM Transactions on Audio, Speech, and Language Processing 25(6). [2] Trowitzsch, I., Schymura, C., Kolossa, D., Obermayer, K. (2019). Joining Sound Event Detection and Localization Through Spatial Segregation. accepted for publication in IEEE/ACM Transactions on Audio, Speech, and Language Processing. DOI: 10.1109/TASLP.2019.2958408. E-Preprint: arXiv:1904.00055 [cs.SD].

研究动机与目标

为通用声音事件检测（SED）研究解决高质量、孤立声音事件数据库稀缺的问题。
提供具有精确、感知对齐的起始和结束时间标注，以提升模型训练的准确性。
包含一个多样化的“通用”类别，以模拟真实世界中未知声音事件出现的情境。
支持开发能够处理未知干扰和复杂声学场景的稳健SED模型。
通过公开可访问、标注清晰且具有明确许可协议的数据集，实现标准化基准测试与可复现研究。

提出的方法

从StockMusic.com获取714个孤立声音文件，从Freesound.org获取303个通用声音文件，所有音频均为32位、44.1 kHz的高保真采样。
应用严格的标注标准，标记感知上的起始和结束时间，排除中间的静音段，以确保事件的孤立性。
将数据集划分为14个目标类别（如警报、婴儿哭声、发动机声）和一个包含所有非目标声音的“通用”类别。
使用听觉机器学习训练与测试流程（AMLTTP v3.0）处理文件列表、标注和音频，以支持模型训练。
通过AMLTTP对孤立事件进行空间和时间控制，生成复杂的多音轨声学场景。
使用500 ms双耳单声源场景的分类率混淆矩阵验证模型性能。

实验结果

研究问题

RQ1如何构建大规模、高质量、孤立的声音事件数据库，以支持稳健的声音事件检测研究？
RQ2感知准确的起始和结束时间标注在多大程度上能提升模型的泛化能力和检测性能？
RQ3包含多样化“通用”声音类别的方法在多大程度上增强了模型对未知或词汇外声音事件的鲁棒性？
RQ4AMLTTP v3.0能否有效集成NIGENS，以支持具有多音轨标注的复杂声学场景模型的训练与测试？
RQ5目标声音类别之间的声学重叠程度如何，其分类混淆模式有何体现？

主要发现

NIGENS包含1,017个音频文件，总时长达4小时45分12秒，其中714个为14个类别的孤立事件，303个为通用声音文件。
女性语音模型在真实女性语音段上的检测率达到99%，表明模型具有高敏感性。
误分类率揭示了显著的声学重叠：例如，女性语音模型错误地将10%的钢琴段落分类为语音。
通用声音类别具有全频带、非结构化的频谱特征，反映了所包含的非目标声音的多样性。
持续谱能有效可视化时间与频谱结构，显示出警报声与电话声之间的相似性，以及发动机声与火灾声之间的相似性。
引入非目标“通用”声音可提升模型鲁棒性，通过模拟真实世界中的声学复杂性与未知干扰。

更好的研究，从现在开始

从阅读论文到最终审阅，大幅缩短您的研究时间。

无需绑定信用卡

本解读由 AI 生成，并经人工编辑审核。