[论文解读] Sensor Fusion using Backward Shortcut Connections for Sleep Apnea Detection in Multi-Modal Data

Tom Van Steenkiste, Dirk Deschrijver+1 more|arXiv (Cornell University)|Dec 14, 2019

Obstructive Sleep Apnea Research参考文献 26被引用 12

一句话总结

本文提出了一种新颖的晚期传感器融合方法，采用反向捷径连接（BFM-SC），以提升基于深度学习的多模态呼吸、心电图（ECG）和血氧饱和度信号的睡眠呼吸暂停检测性能。通过使来自晚期融合层的残差梯度能够回传至各个传感器分支的初始层，BFM-SC 显著提升了模型性能与鲁棒性，相较于单传感器、早期融合及标准晚期融合方法，其在 SHHS-1 数据集上使用 CNN 和 LSTM 架构均取得了当前最优的 AUC 和 F1 分数。

ABSTRACT

Sleep apnea is a common respiratory disorder characterized by breathing pauses during the night. Consequences of untreated sleep apnea can be severe. Still, many people remain undiagnosed due to shortages of hospital beds and trained sleep technicians. To assist in the diagnosis process, automated detection methods are being developed. Recent works have demonstrated that deep learning models can extract useful information from raw respiratory data and that such models can be used as a robust sleep apnea detector. However, trained sleep technicians take into account multiple sensor signals when annotating sleep recordings instead of relying on a single respiratory estimate. To improve the predictive performance and reliability of the models, early and late sensor fusion methods are explored in this work. In addition, a novel late sensor fusion method is proposed which uses backward shortcut connections to improve the learning of the first stages of the models. The performance of these fusion methods is analyzed using CNN as well as LSTM deep learning base-models. The results demonstrate a significant and consistent improvement in predictive performance over the single sensor methods and over the other explored sensor fusion methods, by using the proposed sensor fusion method with backward shortcut connections.

研究动机与目标

• 为应对因睡眠技师资源有限及诊断等待时间过长而导致的睡眠呼吸暂停未被诊断的临床挑战。
• 通过融合腹部与胸部呼吸带、心率及 SpO2 等多种生理信号，超越单传感器模型，提升自动化睡眠呼吸暂停检测性能。
• 开发一种新型传感器融合框架，利用反向捷径连接增强晚期融合架构中的学习能力。
• 在 CNN 和 LSTM 深度学习模型上验证所提方法，确保其在不同架构下的稳健性能。
• 通过残差连接实现各传感器性能监控，提升模型可解释性。

提出的方法

• 提出一种晚期融合架构，其中各传感器信号由独立的分支网络处理，最终在最后一层进行特征融合。
• 引入反向捷径连接（BFM-SC），使来自最终融合层的梯度可回传至各传感器分支的初始层，从而提升训练稳定性和特征学习能力。
• 采用残差风格的跳跃连接，训练期间激活，推理时可移除，从而保持模型可解释性。
• 在基于 CNN 的模型中使用全局平均池化（GAP）和 dropout 层，在基于 LSTM 的模型中使用双向 LSTM 层以提取时序特征。
• 将早期融合（MIM）和单输入模型（SIM）作为基线进行比较，除输入融合策略外，其余模型架构保持一致。
• 采用配对 t 检验与异方差 t 检验，对五组非重叠数据集上的性能与鲁棒性提升进行统计验证。

实验结果

研究问题

• RQ1 在晚期融合框架中，反向捷径连接是否能显著提升深度学习模型在多模态生理信号上的睡眠呼吸暂停检测预测性能？
• RQ2 所提出的 BFM-SC 方法在性能与鲁棒性方面，相较于单传感器模型、早期融合及标准晚期融合方法表现如何？
• RQ3 反向捷径连接在多大程度上可通过支持各传感器性能监控来增强模型可解释性？
• RQ4 BFM-SC 方法是否在不同深度学习架构（如 CNN 和 LSTM）中均保持一致的性能提升？
• RQ5 当应用于多样化的睡眠呼吸暂停数据集与多传感器配置时，BFM-SC 方法的泛化能力如何？

主要发现

• 在 CNN 和 LSTM 模型上，BFM-SC 方法在所有基线方法（包括单输入模型（SIM）、早期融合（MIM）和标准晚期融合（BFM））中均实现了统计显著的性能提升（p < 0.05）。
• 对于基于 CNN 的模型，BFM-SC 实现了 AUC 0.938 和 F1 分数 0.812，优于最佳 SIM（abdores）的 AUC 0.914 和 F1 0.778。
• 对于基于 LSTM 的模型，BFM-SC 实现了 AUC 0.941 和 F1 分数 0.821，优于最佳 SIM（thorres）的 AUC 0.923 和 F1 0.795。
• 统计显著性检验确认，BFM-SC 在全部五个数据集上均持续优于所有基线模型，且在性能（p < 0.05）与鲁棒性（p < 0.05）方面均具有统计显著性。
• BFM-SC 架构中的各独立分支性能接近于单独训练的 SIM 模型，表明各传感器模态的学习过程高效且稳定。
• 反向捷径连接通过支持各传感器的预测头，实现了可解释的输出，从而揭示了哪些信号对最终决策贡献最大。