[论文解读] EEG-based Auditory Attention Decoding: Towards Neuro-Steered Hearing Devices

Simon Geirnaert, Servaas Vandecappelle+7 more|arXiv (Cornell University)|Aug 11, 2020

Blind Source Separation Techniques参考文献 31被引用 8

一句话总结

本文提出基于脑电信号的听觉注意力解码（Auditory Attention Decoding, AAD）作为神经控制助听设备的基础，以在嘈杂的多人对话环境中增强目标说话人。通过使用多通道脑电信号和神经解码器重建目标语音包络，该方法在通过与各说话人包络的相关性识别目标说话人方面实现了高精度。关键发现表明，在此情境下线性模型（如MMSE-ridge）优于深度学习方法。

ABSTRACT

People suffering from hearing impairment often have difficulties participating in conversations in so-called `cocktail party' scenarios with multiple people talking simultaneously. Although advanced algorithms exist to suppress background noise in these situations, a hearing device also needs information on which of these speakers the user actually aims to attend to. The correct (attended) speaker can then be enhanced using this information, and all other speakers can be treated as background noise. Recent neuroscientific advances have shown that it is possible to determine the focus of auditory attention from non-invasive neurorecording techniques, such as electroencephalography (EEG). Based on these new insights, a multitude of auditory attention decoding (AAD) algorithms have been proposed, which could, combined with the appropriate speaker separation algorithms and miniaturized EEG sensor devices, lead to so-called neuro-steered hearing devices. In this paper, we provide a broad review and a statistically grounded comparative study of EEG-based AAD algorithms and address the main signal processing challenges in this field.

研究动机与目标

• 通过使用非侵入性脑电信号识别用户正在关注的说话人，以解决助听设备中的‘鸡尾酒会问题’。
• 基于公开数据集，对基于脑电信号的听觉注意力解码（AAD）算法进行全面且统计基础扎实的对比评估。
• 识别最有效的AAD算法，以集成到未来的神经控制助听设备中，重点关注精度、鲁棒性和实际可行性。
• 评估决策窗口长度和交叉验证策略对AAD性能的影响，确保方法论的严谨性和公平性。
• 突出实际挑战，如在线自适应、脑电设备微型化，以及与说话人分离系统的集成，以实现神经控制助听设备在真实场景中的部署。

提出的方法

• 本研究采用刺激重建（反向建模）方法，使用多输入单输出（MISO）神经解码器，从多通道脑电信号中重建目标语音包络。
• 每种AAD算法估计一个解码器（如线性MMSE、Lasso、CCA、卷积神经网络（CNNs）），将脑电信号输入映射到重建的语音包络，随后通过与所有说话人包络的相关性识别出目标说话人。
• 使用两个公开可用的数据集评估每种算法的性能：Das-2015（16名受试者，每人72分钟）和Fuglsang-2018（18名受试者，每人50分钟），两者均采用64导联脑电图和头相关传输函数（HRTF）滤波的语音刺激。
• 采用两阶段交叉验证程序：外层采用留一模块交叉验证（LOSO-CV）进行评估，内层采用10折交叉验证进行超参数调优，决策窗口长度（τ）范围为10至60秒。
• 对于基于CNN的模型，由于计算限制和防止对说话人身份过拟合，采用替代的交叉验证策略（CNN-loc使用LOSpO-CV，CNN-sim使用十折交叉验证）。
• 所有算法均使用下采样后的脑电图和语音包络（64 Hz，1–32 Hz带通滤波），线性方法进一步下采样至20 Hz和1–9 Hz以减少参数数量。

实验结果

研究问题

• RQ1 在不同决策窗口长度下，哪种基于脑电信号的听觉注意力解码（AAD）算法在识别目标说话人方面达到最高精度？
• RQ2 线性模型（如MMSE-ridge、Lasso）与非线性模型（如CNNs、CCA）在AAD任务中的性能和鲁棒性如何比较？
• RQ3 交叉验证策略的选择（如LOSO-CV与LOSpO-CV）在多大程度上影响性能估计的可靠性，特别是对易过拟合的模型？
• RQ4 AAD算法的性能在不同听音条件（如无混响与混响环境）和说话人配对（同性别与跨性别）下如何变化？
• RQ5 在真实世界部署神经控制助听设备时，必须克服哪些关键信号处理挑战，如在线自适应、脑电设备微型化，以及与说话人分离系统的集成？

主要发现

• MMSE-ridge算法在两个数据集上均达到最高平均精度，Das-2015为85.6%，Fuglsang-2018为84.1%，优于所有其他方法，包括深度学习模型。
• 线性模型（如MMSE-ridge和Lasso）在短决策窗口长度下表现出更优的鲁棒性和一致性，优于非线性模型（如CNNs和CCA）。
• CNN-loc模型在深度学习模型中表现最佳（Das-2015为80.2%，Fuglsang-2018为78.5%），但需采用专门的留一说话人交叉验证（LOSpO-CV）以防止对说话人身份的过拟合。
• 基于CCA的方法表现良好，但存在轻微过拟合风险；然而，配对Wilcoxon符号秩检验确认LOSpO-CV与中位随机-CV性能无显著差异（p = 0.38），验证了其可靠性。
• 研究发现，决策窗口长度显著影响精度，性能在30–60秒左右达到峰值，且超参数调优（如正则化λ）高度依赖于窗口长度，尤其对MMSE-avgdec-lasso等方法而言。
• 尽管复杂度较高，深度学习模型（如CNN-sim和CNN-loc）的精度并未超过线性模型，表明更简单、可解释的模型可能更适合实时、低延迟的神经控制助听设备。