[论文解读] A Comprehensive Survey on Heart Sound Analysis in the Deep Learning Era

Zhao Ren, Yi Chang+4 more|arXiv (Cornell University)|Jan 23, 2023

Phonocardiography and Auscultation Techniques被引用 4

一句话总结

本综述全面概述了2017年至2022年期间深度学习在心音分析中的应用，对比了经典机器学习与深度学习方法。内容涵盖去噪、分割、分类及可解释性，突出展示了最先进模型、公开可用的数据集、代码仓库以及未来研究方向，包括基础模型和人机协作。

ABSTRACT

Heart sound auscultation has been applied in clinical usage for early screening of cardiovascular diseases. Due to the high demand for auscultation expertise, automatic auscultation can help with auxiliary diagnosis and reduce the burden of training professional clinicians. Nevertheless, there is a limit to classic machine learning's performance improvement in the era of big data. Deep learning has outperformed classic machine learning in many research fields, as it employs more complex model architectures with a stronger capability of extracting effective representations. Moreover, it has been successfully applied to heart sound analysis in the past years. As most review works about heart sound analysis were carried out before 2017, the present survey is the first to work on a comprehensive overview to summarise papers on heart sound analysis with deep learning published in 2017--2022. This work introduces both classic machine learning and deep learning for comparison, and further offer insights about the advances and future research directions in deep learning for heart sound analysis. Our repository is publicly available at \url{https://github.com/zhaoren91/awesome-heart-sound-analysis}.

研究动机与目标

• 提供2017–2022年期间心音分析中深度学习技术的系统性与最新综述。
• 对比经典机器学习与深度学习在心音处理任务中的性能与局限性。
• 总结心音去噪、分割、分类及模型可解释性的最先进方法。
• 识别关键挑战与未来研究方向，包括基础模型、人机协作及模型可靠性。
• 整理公开可用的数据集、评估指标与开源代码，以支持可复现性与社区发展。

提出的方法

• 本综述对2017至2022年间发表的关于心音分析的同行评审论文进行了系统性文献回顾，聚焦于深度学习相关研究。
• 将经典机器学习方法（如SVM、HMM）与使用原始音频或频谱图作为输入、无需手工特征工程的深度学习模型进行对比。
• 评估卷积神经网络（CNNs）、循环神经网络（RNNs）、Transformer及自监督模型（如Wav2Vec与HuBERT）在心音任务中的表现。
• 分析注意力可视化、SHAP及基于原型的解释技术（如原型、批评、反事实）以增强模型透明度。
• 讨论新兴趋势，如联邦学习在数据隐私保护中的应用、机器遗忘技术，以及对抗鲁棒性以提升模型可靠性。
• 评估公开可用的数据集（如PhysioNet、LIDC、CRESCENDO）与代码仓库，以支持可复现性与基准测试。

实验结果

研究问题

• RQ1 2017至2022年间，深度学习模型在心音去噪、分割与分类任务中如何显著优于经典机器学习方法？
• RQ2 在心音分析中，最有效的深度学习架构与输入表示形式（如原始波形、频谱图）是什么？
• RQ3 如何通过增强模型可解释性来提升自动化心音诊断中的信任度与临床采纳率？
• RQ4 在大规模音频数据上预训练的基础模型在推动心音分析发展方面可发挥何种作用？
• RQ5 在实际临床应用中，部署可靠、隐私保护且鲁棒的深度学习系统面临哪些关键挑战？

主要发现

• 由于能够自动学习分层表征而无需人工特征工程，深度学习模型在心音分类任务中显著优于经典机器学习，尤其在大规模数据集上表现突出。
• 自监督与预训练模型（如Wav2Vec与HuBERT）在少样本与零样本学习场景中表现出色，降低了对大规模标注数据集的依赖。
• 注意力机制与基于SHAP的解释方法可通过突出显示对模型预测有贡献的心音相关段落，实现局部可解释性。
• 基于原型的方法（如原型、批评、反事实）为实现全局可解释性提供了有前景的路径，可揭示各类心音的典型模式。
• 联邦学习与机器遗忘技术正成为保护患者数据隐私的同时保持诊断准确性的关键技术。
• 对抗鲁棒性与模型可靠性仍是开放挑战，临床决策支持系统对安全可信人工智能的需求日益增加。