[论文解读] DCASE 2018 Challenge - Task 5: Monitoring of domestic activities based on multi-channel acoustics

Gert Dekkers, Lode Vuegen+3 more|arXiv (Cornell University)|Jul 30, 2018

Speech and Audio Processing参考文献 4被引用 32

一句话总结

本论文介绍了 DCASE 2018 任务 5，该任务研究了利用多通道音频通过独立于麦克风阵列位置的频谱和空间线索来分类家庭活动的方法。基线系统采用二维卷积神经网络（2D CNN）并使用对数梅尔特征，在开发集上实现了 84.5% 的宏平均 F1 分数，表明多通道数据在智能家居活动识别中的价值。

ABSTRACT

The DCASE 2018 Challenge consists of five tasks related to automatic classification and detection of sound events and scenes. This paper presents the setup of Task 5 which includes the description of the task, dataset and the baseline system. In this task, it is investigated to which extent multi-channel acoustic recordings are beneficial for the purpose of classifying domestic activities. The goal is to exploit spectral and spatial cues independent of sensor location using multi-channel audio. For this purpose we provided a development and evaluation dataset which are derivatives of the SINS database and contain domestic activities recorded by multiple microphone arrays. The baseline system, based on a Neural Network architecture using convolutional and dense layer(s), is intended to lower the hurdle to participate the challenge and to provide a reference performance.

研究动机与目标

• 研究通过利用频谱和空间声学线索，多通道音频在分类家庭活动方面的优势。
• 开发一个基准系统，使不同方法之间的比较更加公平，且无需事先知晓麦克风阵列的位置。
• 提供一个源自 SINS 数据库的公开可用数据集，包含真实家庭环境中日常活动的多通道录音。
• 使用深度学习建立一个基线模型，将每个麦克风通道视为独立输入，同时在通道间聚合预测结果。
• 通过支持环境辅助生活（AAL）研究，实现对老年人照护和慢性病支持的声学活动监测。

提出的方法

• 基线系统使用带有两个卷积层和一个全连接层的二维卷积神经网络（CNN），以对数梅尔频谱图为输入。
• 通过 40 毫秒帧长、50% 重叠的方式从 40 个梅尔频带（50–8000 Hz）中提取特征，每段 10 秒音频生成 501 个时间帧。
• 每个麦克风通道的特征独立通过网络处理，最终预测通过平均四个通道的后验概率获得。
• 网络在每层后使用批量归一化、ReLU 激活函数和 20% 的 dropout 进行正则化，采用 Adam 优化，学习率为 0.0001。
• 通过在每个训练周期内对少数类进行下采样，使其大小与最小类别一致，实现类别权重平衡，提升训练稳定性。
• 每 10 个周期基于验证性能进行模型选择，总训练 500 个周期后使用宏平均 F1 分数作为指标进行早停。

实验结果

研究问题

• RQ1 与单通道方法相比，多通道音频录音在家庭活动分类中的性能提升程度如何？
• RQ2 系统能否在不依赖绝对声源定位的情况下有效利用空间线索（如声源方向性），从而确保在不同麦克风阵列位置下的鲁棒性？
• RQ3 当在共享频谱和空间特征的多通道音频上训练时，深度学习模型的性能如何？其在真实世界家庭活动数据上的基线性能表现如何？
• RQ4 使用多通道音频时，哪些活动类别最容易和最难区分？导致其分类难度的因素有哪些？
• RQ5 一个简单的神经网络基线能否作为未来在家庭监控中进行多通道声学场景分类研究的可靠参考基准？

主要发现

• 基线系统在开发集上实现了 84.50% ± 0.8% 的宏平均 F1 分数，表明其在多通道家庭活动分类中具有坚实的参考性能。
• 表现最佳的类别是“吸尘”（99.59%）和“看电视”（99.31%），可能因其具有强烈且独特的声学特征，且背景变化较小。
• 表现最差的类别是“其他”（44.76%），表明标签可能存在歧义，或与其他活动存在重叠的声学特征。
• “洗碗”（76.73%）和“工作”（82.03%）表现中等，可能由于声音水平变化大或事件类型重叠。
• 系统在五次随机交叉验证折叠中表现稳定，宏 F1 分数的标准差为 0.8%，表明学习行为具有一致性。
• 采用独立通道处理并结合后验概率平均的方法提升了鲁棒性，表明多通道输入提供了超越单通道输入的有意义的空间和频谱信息。