[논문 리뷰] Complex Event Processing of Health Data in Real-time to Predict Heart Failure Risk and Stress

Sandeep Singh Sandha, Mohammad Kachuee외 1명|arXiv (Cornell University)|2017. 07. 14.

ECG Monitoring and Analysis참고 문헌 8인용 수 11

한 줄 요약

이 논문은 지속적인 건강 데이터 스트림에서 심부전 위험과 스트레스 수준을 탐지하기 위해 Apache Kafka와 Spark Streaming을 사용한 확장성 있고 실시간 복잡 이벤트 처리(CEP) 아키텍처를 제안한다. 시스템은 실시간 생리적 신호를 수신하고, 슬라이딩 윈도우에서 처리하며, 신호 처리 및 머신러닝을 적용하여 높은 확장성과 장애 내성으로 임상적 위험 점수를 예측한다.

ABSTRACT

In this paper, we develop a scalable system which can do real-time analytics for different health applications. The occurrence of different health conditions can be regarded as the complex events and thus this concept can be extended to other use cases easily. Large number of users should be able to send the data in real-time, and should be able to receive the feedback and result. Keeping the requirements in mind we used Kafka and Spark to develop our system. In this setting, multiple users are running Kafka producer clients, which are sending data in real-time. Spark streaming is used to process data from Kafka of different window sizes to analyze the health conditions. We have developed and tested the heart attack risk and stress prediction as our sample complex events detection use cases. We have simulated and tested our system with multiple health datasets.

연구 동기 및 목표

• 다양한 생리적 데이터 소스를 가진 대규모 사용자 집단에 대해 확장성 있고 실시간 건강 분석을 해결한다.
• 특정 응용 분야를 초월해 여러 건강 인식 사용 사례를 지원하는 일반 목적의 확장 가능한 플랫폼을 설계한다.
• 분산 스트리밍 프레임워크를 사용해 고속도의 건강 데이터 스트림을 저지연, 장애 내성적으로 처리한다.
• 신호 처리 및 스트리밍 분석을 통해 심부전 위험 및 스트레스와 같은 임상적으로 관련 있는 이벤트를 실시간으로 탐지할 수 있는지 입증한다.

제안 방법

• 다양한 사용자로부터 실시간 건강 데이터 스트림을 수신하기 위해 분산 메시지 브로커로 Apache Kafka를 사용하며, 센서 유형(예: ECG, 혈압)에 따라 토픽 기반 라우팅을 구현한다.
• 시계열 생리적 신호에 대한 실시간 분석을 가능하게 하기 위해 Apache Spark Streaming을 사용해 슬라이딩 윈도우에서 데이터를 처리한다.
• 심전도 파형의 주요 특징(예: P파, QRS, T파)과 RR 간격 변화를 추출하기 위해 신호 처리 기법을 적용하여 심박수 변동성(HRV) 분석을 수행한다.
• 연속된 윈도우 간의 HRV 추세와 심박수 변화를 기반으로 다이내믹 스트레스 지수를 계산하며, 각 윈도우에 맞춰 기준선 적응을 수행한다.
• 각 건강 사용 사례(CHF 위험, 스트레스 지수)를 별도의 Spark Streaming 작업으로 구현하여 모듈성과 확장성을 확보한다.
• 장애 내성, 수평적 확장성, 고부하 환경에서의 신뢰성을 확보하기 위해 클러스터 환경에 시스템을 배포한다.

실험 결과

연구 질문

• RQ1 일반 목적의 분산 스트리밍 아키텍처가 다수의 사용자에 대해 대규모로 실시간 건강 분석을 효과적으로 지원할 수 있는가?
• RQ2 실시간 CEP가 지속적인 ECG 및 혈압 데이터에서 심부전 위험 상승 및 스트레스 수준 상승과 같은 임상적으로 관련 있는 이벤트를 얼마나 정확하게 탐지할 수 있는가?
• RQ3 Kafka와 Spark Streaming이 고속도 건강 데이터 스트림의 장애 내성적이고 확장 가능한 처리를 얼마나 잘 지원할 수 있는가?
• RQ4 시스템이 최소한의 아키텍처 변경으로 새로운 건강 인식 사용 사례를 지원할 수 있는가?
• RQ5 HRV 및 ECG 형태학적 특징과 같은 신호 처리 기법이 스트리밍 모드에서 신뢰할 수 있는 실시간 위험 예측에 기여하는 정도는 어느 정도인가?

주요 결과

• 정상적인 ECG 파형에서 심부전 위험 예측률은 1.2%로 나타났고, 비정상적인 S파형에서는 12.5%, ST 분만 패턴에서는 20.6%로 나타나 임상적으로 관련 있는 ECG 변화에 민감하게 반응함을 입증했다.
• 심박수는 안정된 상태이지만 HRV가 감소함에 따라 다섯 개의 연속된 윈도우 동안 스트레스 지수가 0.1에서 0.5로 증가하여 교감신경계 활성화를 효과적으로 탐지함을 보여주었다.
• Kafka 프로듀서와 Spark Streaming 작업을 사용해 시뮬레이션된 건강 데이터 스트림을 실시간으로 처리함으로써 저지연 분석의 실현 가능성을 확인했다.
• 다양한 건강 인식 작업(예: CHF 위험, 스트레스)을 별도의 Spark Streaming 애플리케이션으로 모듈식으로 배포할 수 있는 아키텍처를 제공했다.
• Kafka의 지속적 스토리지와 Spark의 내재된 분산 데이터셋(RDD) 및 메모리 기반 처리 기능을 통해 시스템의 장애 내성성과 확장성을 입증했다.
• 로컬 클러스터에서 자바로 구현한 결과, 제안된 CEP 파이프라인을 실시간 건강 모니터링 응용 분야에서 신뢰성 있게 배포하고 실행할 수 있음을 확인했다.