[论文解读] Real-Time Sound Event Localization and Detection: Deployment Challenges on Edge Devices

Jun Wei Yeow, Ee-Leng Tan+3 more|arXiv (Cornell University)|Sep 18, 2024

Music and Audio Processing被引用 4

一句话总结

本文研究了在边缘设备上实时声音事件定位与检测（SELD）的问题，揭示了特征提取和低延迟推理对性能与效率的显著影响。在树莓派3上，研究发现MelGCC和SALSA-Mel特征会带来较高的计算开销——最高达实时窗口持续时间的43.4%。相比之下，SALSA-Lite可实现更快的推理速度且性能相当，凸显了在实时SELD系统中优化特征设计的重要性。

ABSTRACT

Sound event localization and detection (SELD) is critical for various real-world applications, including smart monitoring and Internet of Things (IoT) systems. Although deep neural networks (DNNs) represent the state-of-the-art approach for SELD, their significant computational complexity and model sizes present challenges for deployment on resource-constrained edge devices, especially under real-time conditions. Despite the growing need for real-time SELD, research in this area remains limited. In this paper, we investigate the unique challenges of deploying SELD systems for real-world, real-time applications by performing extensive experiments on a commercially available Raspberry Pi 3 edge device. Our findings reveal two critical, often overlooked considerations: the high computational cost of feature extraction and the performance degradation associated with low-latency, real-time inference. This paper provides valuable insights and considerations for future work toward developing more efficient and robust real-time SELD systems

研究动机与目标

• 识别并分析在资源受限的边缘设备上部署实时声音事件定位与检测（SELD）系统所面临的关键挑战。
• 评估在实时场景中计算成本、推理延迟与SELD性能之间的权衡。
• 研究不同输入特征和深度神经网络架构对实时推理效率的影响。
• 为设计适用于实际物联网和可穿戴应用的高效、低延迟SELD系统提供实用洞见。

提出的方法

• 在树莓派3上使用ONNX执行推理，部署了多种SELD模型，包括SELDNet和ResNet-18。
• 采用多线程实时推理流水线，配置音频录制窗口$T_r$、处理窗口$T_w$以及$n$个连续音频块。
• 在固定$T_r = 1$ s、$n = 2$、$T_w = 2$ s的条件下，通过1000次迭代测量处理延迟，以评估系统响应能力。
• 分析特征提取方法的计算复杂度：梅尔频谱图($O(MF)$)、SALSA-Lite中的NIPD($O(MF)$)，以及GCC-PHAT($O(M^2F)$)。
• 对比MelGCC、SALSA-Lite和SALSA-Mel等特征集，评估其对乘加操作（MAC）数量、参数量和处理延迟的影响。
• 评估在减小$T_w$条件下的性能下降情况，并分析时间上下文与延迟之间的权衡。

实验结果

研究问题

• RQ1 在边缘设备上的实时SELD推理中，主要的计算瓶颈是什么？
• RQ2 减小输入窗口持续时间($T_w$)如何影响SELD性能与延迟？
• RQ3 特征提取在实时SELD系统整体处理延迟中占多大比例？
• RQ4 像SALSA-Lite这样计算高效的特征是否能在降低延迟的同时保持较高的SELD性能，相较于更复杂的特征？
• RQ5 在实时边缘部署中，模型复杂度、推理延迟与检测准确率之间存在何种权衡？

主要发现

• 特征提取占总$T_r = 1$ s窗口持续时间的最高达43.4%，是实时SELD中主要的计算瓶颈。
• 将输入窗口$T_w$从4秒减少到2秒导致SELD性能下降近10%，表明延迟与准确率之间存在显著权衡。
• 尽管维度更高，SALSA-Lite由于算法复杂度更低，相比MelGCC和SALSA-Mel显著降低了处理延迟。
• GCC-PHAT的计算成本（复杂度为$O(M^2F)$）远高于SALSA-Lite的$O(MF)$，因此在实时系统中适用性较差。
• 更复杂的模型如ResNet-18可在一定程度上缓解因$T_w$缩短导致的性能损失，但代价是处理延迟和MAC操作数量的增加。
• 本研究证实，后处理延迟可忽略不计，可与推理延迟合并处理，从而简化系统分析。