[论文解读] An Improved Event-Independent Network for Polyphonic Sound Event Localization and Detection

Yin Cao, Turab Iqbal+4 more|View|Oct 25, 2020

Music and Audio Processing参考文献 29被引用 8

一句话总结

本文提出事件无关网络V2（EINV2），一种用于多音符声音事件定位与检测（SELD）的端到端模型，采用逐轨道输出格式并结合排列不变训练（PIT）与多头自注意力机制，以解决轨道排列问题，并检测相同类型但到达方向（DoA）不同的重叠事件。此外，该方法引入一种软参数共享方案，实现SED与DoA估计的联合学习而不会导致性能下降，优于先前方法，在单个VGG风格网络下实现与最先进集成模型相当的性能。

ABSTRACT

Polyphonic sound event localization and detection (SELD), which jointly performs sound event detection (SED) and direction-of-arrival (DoA) estimation, detects the type and occurrence time of sound events as well as their corresponding DoA angles simultaneously. We study the SELD task from a multi-task learning perspective. Two open problems are addressed in this paper. Firstly, to detect overlapping sound events of the same type but with different DoAs, we propose to use a trackwise output format and solve the accompanying track permutation problem with permutation-invariant training. Multi-head self-attention is further used to separate tracks. Secondly, a previous finding is that, by using hard parameter-sharing, SELD suffers from a performance loss compared with learning the subtasks separately. This is solved by a soft parameter-sharing scheme. We term the proposed method as Event Independent Network V2 (EINV2), which is an improved version of our previously-proposed method and an end-to-end network for SELD. We show that our proposed EINV2 for joint SED and DoA estimation outperforms previous methods by a large margin, and has comparable performance to state-of-the-art ensemble models.

研究动机与目标

• 为解决现有方法因输出格式限制而无法区分相同类型但到达方向（DoA）不同的重叠声音事件的挑战。
• 通过帧级和分块级排列不变训练（PIT）解决逐轨道输出格式固有的轨道排列问题。
• 通过将硬参数共享替换为软参数共享方案，改进声音事件检测（SED）与到达方向（DoA）估计的联合学习，实现子任务间的相互增益。
• 开发一种端到端的、事件无关的SELD模型，实现最先进性能，且无需依赖集成方法或复杂架构。

提出的方法

• 采用逐轨道输出格式，每个轨道预测最多一个事件，包含其类型、起始时间、结束时间和DoA，从而实现对同类型事件（不同DoA）重叠的检测。
• 在帧级和分块级应用排列不变训练（PIT），动态将真实标签分配给正确轨道，解决轨道排列问题。
• 采用多头自注意力机制（MHSA）分离并优化各轨道间的潜在表征，提升预测准确率与鲁棒性。
• 引入受交叉接线模块启发的软参数共享方案，实现SED与DoA估计之间的共享特征学习，同时保持各任务的表征能力。
• 将逐轨道输出格式与软参数共享结合，构建单一端到端模型，命名为事件无关网络V2（EINV2）。
• 采用旋转和SpecAugment等数据增强技术，进一步提升泛化能力与性能。

实验结果

研究问题

• RQ1 逐轨道输出格式能否有效检测相同类型但不同DoA的重叠声音事件，从而克服以往输出格式的局限性？
• RQ2 在训练过程中，如何有效缓解逐轨道输出格式中的轨道排列问题？
• RQ3 SED与DoA估计之间的软参数共享是否能带来优于硬参数共享或独立训练的联合性能？
• RQ4 仅使用简单VGG风格架构的单一端到端模型能否在SELD任务中实现与复杂集成模型相当的性能？

主要发现

• 结合帧级PIT的逐轨道输出格式（Track_tPIT）实现最低定位误差0.16°，显著优于SELDnet的5°更高误差，以及未使用PIT的基线（后者未能收敛）。
• EINV2中的软参数共享优于硬参数共享与独立训练，证明当设计得当时，联合学习可实现子任务间的相互增益。
• EINV2结合数据增强（旋转与SpecAugment）在2020 DCASE挑战中实现与最佳集成模型相当的性能，尽管其为单一模型且架构仅为基础VGG风格。
• 所提方法大幅超越先前方法，所有EINV2指标均等于或优于独立训练SED与DoA的基线，证实了联合学习方案的有效性。
• 逐轨道输出、PIT、MHSA与软参数共享的结合，可实现对同类型重叠事件的精确检测与复杂重叠场景下稳健的DoA估计。