[论文解读] META-SELD: Meta-Learning for Fast Adaptation to the new environment in Sound Event Localization and Detection

Jinbo Hu, Yin Cao+6 more|arXiv (Cornell University)|Aug 17, 2023

Speech and Audio Processing被引用 4

一句话总结

本文提出 Meta-SELD，一种基于模型无关元学习（MAML）的元学习框架，旨在实现声音事件定位与检测（SELD）模型在未见过的声学环境中的快速适应。通过在多种环境中学习通用的初始参数，Meta-SELD 仅需少量样本和极少的微调步骤，即可显著提升性能，尤其是在定位精度方面，优于 STARSS23 数据集上的标准微调方法。

ABSTRACT

For learning-based sound event localization and detection (SELD) methods, different acoustic environments in the training and test sets may result in large performance differences in the validation and evaluation stages. Different environments, such as different sizes of rooms, different reverberation times, and different background noise, may be reasons for a learning-based system to fail. On the other hand, acquiring annotated spatial sound event samples, which include onset and offset time stamps, class types of sound events, and direction-of-arrival (DOA) of sound sources is very expensive. In addition, deploying a SELD system in a new environment often poses challenges due to time-consuming training and fine-tuning processes. To address these issues, we propose Meta-SELD, which applies meta-learning methods to achieve fast adaptation to new environments. More specifically, based on Model Agnostic Meta-Learning (MAML), the proposed Meta-SELD aims to find good meta-initialized parameters to adapt to new environments with only a small number of samples and parameter updating iterations. We can then quickly adapt the meta-trained SELD model to unseen environments. Our experiments compare fine-tuning methods from pre-trained SELD models with our Meta-SELD on the Sony-TAU Realistic Spatial Soundscapes 2023 (STARSSS23) dataset. The evaluation results demonstrate the effectiveness of Meta-SELD when adapting to new environments.

研究动机与目标

• 解决 SELD 模型在部署于未见声学环境（如不同房间、混响时间或噪声水平）时性能下降的挑战。
• 通过实现对新环境的少样本适应，降低收集和标注空间声音事件数据的高成本与高投入。
• 通过最小化对大规模再训练或微调的需求，加速 SELD 系统在新环境中的部署。
• 利用元学习提升 SELD 模型在多样化声学条件下的泛化能力与鲁棒性。
• 仅使用少量环境特定样本，实现比标准微调更快、更有效的适应。

提出的方法

• Meta-SELD 采用模型无关元学习（MAML）来学习在多个声学环境中共享的、通用的模型参数初始化。
• 每个独特的录音环境（例如，具有特定房间脉冲响应的特定房间）在元学习过程中被视为一个独立的任务。
• 模型通过仅使用少量支持样本和少量梯度更新步骤，快速适应新环境。
• 该方法使用合成数据：将 1 分钟的音频片段与 TAU-SRIR DB 中的多通道空间房间脉冲响应（SRIR）进行卷积，声音事件来自 FSD50K 和经 PANNs 筛选后的 AudioSet。
• SELD 模型采用活动耦合笛卡尔波束宽度（ACCDOA）表示法，将声音事件检测与波束指向角估计整合到单一输出分支中。
• Meta-SELD 优化一个元目标，即最小化所有任务（环境）的平均损失，从而在推理阶段实现对未见环境的快速适应。

Figure 1: The multi-ACCDOA representation of the SELD model. There is no track dimension in the ACCDOA representation.

实验结果

研究问题

• RQ1 元学习能否减少 SELD 模型在未见声学环境中的适应时间与性能下降？
• RQ2 当仅能获得新环境中少量样本时，Meta-SELD 与标准微调相比表现如何？
• RQ3 元学习是否能提升定位精度，尤其是在基线模型表现较差的环境中？
• RQ4 Meta-SELD 在不同房间尺寸、混响特性及噪声水平等多样化声学条件下的泛化能力如何？
• RQ5 在对少量未见环境数据集进行微调时，Meta-SELD 是否能降低过拟合风险？

主要发现

• 与微调基线及预训练模型相比，Meta-SELD 在 STARSS23 数据集所有房间中均显著提升了整体 SELD 指标（ℰ_SELD）。
• 在 fold4_room2（预训练模型与微调方法定位性能较差的场景）中，Meta-SELD 相较于预训练模型将类别依赖定位误差（LE_CD）降低了 14.8°，相较微调方法降低了 8.3°。
• 在 fold3_room22 和 fold4_room23 中，Meta-SELD 在 ER≤20°、F≤20° 和 LR_CD 指标上均取得最高分，尤其在声音事件检测方面优于其他方法。
• 由于波束指向角估计更优，Meta-SELD 在 fold4_room2 中提升了 F≤20° 并降低了 ER≤20°，这直接源于 LE_CD 的减少。
• 尽管在多个房间中性能有所提升，Meta-SELD 在 fold3_room4、fold3_room7、fold3_room14 和 fold4_room16 中表现出性能下降，主要由于声音事件检测（SED）性能下降及跨任务优化冲突。
• 该方法在低数据场景下表现出鲁棒性，相较于标准微调，在仅使用少量新环境样本时显著降低了过拟合风险。