[论文解读] Complex Event Processing of Health Data in Real-time to Predict Heart Failure Risk and Stress

Sandeep Singh Sandha, Mohammad Kachuee+1 more|arXiv (Cornell University)|Jul 14, 2017

ECG Monitoring and Analysis参考文献 8被引用 11

一句话总结

本文提出了一种可扩展的、实时复杂事件处理（CEP）架构，利用 Apache Kafka 和 Spark Streaming 从连续的健康数据流中检测心力衰竭风险和压力水平。该系统接收实时生理信号，以滑动窗口方式处理，并应用信号处理和机器学习技术，以实现高可扩展性和容错能力的临床风险评分预测。

ABSTRACT

In this paper, we develop a scalable system which can do real-time analytics for different health applications. The occurrence of different health conditions can be regarded as the complex events and thus this concept can be extended to other use cases easily. Large number of users should be able to send the data in real-time, and should be able to receive the feedback and result. Keeping the requirements in mind we used Kafka and Spark to develop our system. In this setting, multiple users are running Kafka producer clients, which are sending data in real-time. Spark streaming is used to process data from Kafka of different window sizes to analyze the health conditions. We have developed and tested the heart attack risk and stress prediction as our sample complex events detection use cases. We have simulated and tested our system with multiple health datasets.

研究动机与目标

• 解决大规模用户群体中多样化生理数据源的可扩展、实时健康数据分析挑战。
• 设计一个通用、可扩展的平台，支持除特定应用外的多种健康推理用例。
• 利用分布式流处理框架，实现对高速度健康数据流的低延迟、容错处理。
• 证明利用信号处理和流分析技术实现实时检测临床相关事件（如心力衰竭风险和压力水平）的可行性。

提出的方法

• 使用 Apache Kafka 作为分布式消息代理，从多个用户接收实时健康数据流，通过主题路由区分不同传感器类型（例如，ECG、BP）。
• 使用 Apache Spark Streaming 在滑动窗口中处理数据，实现实时时间序列生理信号分析。
• 应用信号处理技术提取关键 ECG 波形特征（P 波、QRS 波、T 波）和 RR 间隔变化，用于心率变异性（HRV）分析。
• 基于连续窗口中心的 HRV 趋势和心率变化，计算动态压力指数，并在每个窗口中自适应调整基线。
• 将每个健康用例（CHF 风险、压力指数）作为独立的 Spark Streaming 作业实现，以支持模块化和可扩展性。
• 在集群环境中部署系统，以确保容错能力、水平可扩展性以及在高负载条件下的可靠性。

实验结果

研究问题

• RQ1 通用的、分布式的流处理架构是否能有效支持在多个用户中大规模实时健康数据分析？
• RQ2 实时 CEP 能否准确检测出从连续 ECG 和 BP 数据中得出的临床相关事件（如心力衰竭风险升高和压力水平升高）？
• RQ3 Kafka 和 Spark Streaming 在多大程度上能够实现对高速度健康数据流的容错、可扩展处理？
• RQ4 该系统是否能够通过极少的架构变更扩展支持新的健康推理用例？
• RQ5 信号处理特征（如 HRV 和 ECG 形态）在流式处理模式下对实现可靠的实时风险预测起到多大作用？

主要发现

• 系统成功预测出正常 ECG 波形的心力衰竭风险为 1.2%，异常 S 波为 12.5%，ST 段压低模式为 20.6%，表明对临床相关的 ECG 变化具有敏感性。
• 尽管心率保持稳定，但 HRV 下降导致压力指数在五个连续窗口内从 0.1 上升至 0.5，表明有效检测到交感神经兴奋。
• 原型通过 Kafka 生产者和 Spark Streaming 作业实现了对模拟健康数据流的实时处理，证实了低延迟分析的可行性。
• 该架构支持将多个健康推理任务（如 CHF 风险、压力）作为独立的 Spark Streaming 应用模块化部署，具备良好的可扩展性。
• 通过使用 Kafka 的持久化存储以及 Spark 的弹性分布式数据集（RDD）和内存处理机制，系统展示了容错能力和可扩展性。
• 在本地集群上使用 Java 实现的验证表明，所提出的 CEP 流水线可被可靠部署和执行，适用于实时健康监测用例。