[논문 리뷰] A Scalable Data Science Platform for Healthcare and Precision Medicine Research

Jacob McPadden, Thomas J S Durant외 10명|arXiv (Cornell University)|2018. 08. 14.

Scientific Computing and Data Management인용 수 6

한 줄 요약

이 논문은 Hadoop, Apache Storm, 그리고 NiFi를 기반으로 구축된 확장성 있고 오픈소스인 데이터 과학 플랫폼을 제시한다. 이 플랫폼은 전자 건강 기록, 검사 결과, 환자 모니터링 데이터와 같은 실시간 임상 데이터를 통합하여 유일한 데이터 레이크로 제공한다. 이 플랫폼은 정밀의료 및 계산 기반 의료를 위한 거의 실시간 분석을 가능하게 하며, 대규모 학술 의료 시스템에서의 타당성과 성능을 입증한다.

ABSTRACT

Objective: To (1) demonstrate the implementation of a data science platform built on open-source technology within a large, academic healthcare system and (2) describe two computational healthcare applications built on such a platform. Materials and Methods: A data science platform based on several open source technologies was deployed to support real-time, big data workloads. Data acquisition workflows for Apache Storm and NiFi were developed in Java and Python to capture patient monitoring and laboratory data for downstream analytics. Results: The use of emerging data management approaches along with open-source technologies such as Hadoop can be used to create integrated data lakes to store large, real-time data sets. This infrastructure also provides a robust analytics platform where healthcare and biomedical research data can be analyzed in near real-time for precision medicine and computational healthcare use cases. Discussion: The implementation and use of integrated data science platforms offer organizations the opportunity to combine traditional data sets, including data from the electronic health record, with emerging big data sources, such as continuous patient monitoring and real-time laboratory results. These platforms can enable cost-effective and scalable analytics for the information that will be key to the delivery of precision medicine initiatives. Conclusion: Organizations that can take advantage of the technical advances found in data science platforms will have the opportunity to provide comprehensive access to healthcare data for computational healthcare and precision medicine research.

연구 동기 및 목표

• 대규모 학술 의료 시스템 내에서 오픈소스 기술을 사용하여 확장성 있는 데이터 과학 플랫폼을 설계하고 구현하기.
• 전자 건강 기록, 실시간 검사 결과, 지속적인 환자 모니터링 데이터와 같은 다양한 데이터 소스를 통합하기.
• 정밀의료 및 계산 기반 의료 응용 프로그램을 위한 거의 실시간 분석을 가능하게 하기.
• 이 플랫폼이 대규모 데이터 워크로드를 처리하고 복잡한 연구 워크로드를 지원할 수 있는 능력을 입증하기.

제안 방법

• 분산 스토리지 및 처리를 위해 Hadoop을 사용한 오픈소스 기술 기반의 데이터 과학 플랫폼을 구축했다.
• Java 및 Python으로 개발된 Apache Storm과 Apache NiFi를 사용하여 스트리밍 임상 데이터를 수신하는 데이터 수집 파이프라인을 구현했다.
• 구조화된 EHR 데이터와 비구조화 또는 반구조화된 모니터링 데이터를 포함한 이질적인 데이터 소스를 저장하기 위해 통합된 데이터 레이크를 구축했다.
• 이벤트 기반 아키텍처와 스트림 처리 프레임워크를 통해 실시간 데이터 처리 및 분석을 가능하게 했다.
• 다양한 소스의 데이터를 통합하여 후속 연구 및 임상 분석을 위한 일관된 인fra스트럭처로 통합했다.
• 확장성과 상호운용성을 보장하기 위해 오픈 표준과 모듈식 구성 요소를 활용했다.

실험 결과

연구 질문

• RQ1 대규모 학술 의료 시스템에서 실시간 데이터 분석을 지원하기 위해 확장성 있고 오픈소스인 데이터 플랫폼을 효과적으로 구현할 수 있는가?
• RQ2 정밀의료 연구를 위해 실시간 임상 데이터 스트림을 기존 EHR 데이터와 통합하기 위해 필요한 아키텍처 구성 요소는 무엇인가?
• RQ3 Hadoop, Storm, NiFi와 같은 오픈소스 기술이 대규모이고 이질적인 임상 데이터를 체계적으로 관리하고 처리하는 데 효과적인가?
• RQ4 실제 임상 워크로드 하에서 이러한 플랫폼이 보여주는 성능 및 신뢰성 특성은 어떠한가?
• RQ5 이 플랫폼은 정밀의료 응용 프로그램을 위한 거의 실시간 분석을 어떻게 지원하는가?

주요 결과

• Apache Storm과 NiFi를 사용하여 환자 모니터링 및 실험실 시스템의 실시간 데이터 스트림을 성공적으로 수신 및 처리했다.
• 통합된 데이터 레이크를 구축하여 다양한 임상 데이터 소스의 중앙 집중식 스토리지 및 액세스를 가능하게 했다.
• 학술 의료 환경에서 일반적인 대규모 실시간 데이터 워크로드를 처리하는 데 있어 확장성과 성능을 입증했다.
• EHR 데이터와 스트리밍 임상 데이터의 통합을 통해 정밀의료 응용 프로그램을 위한 거의 실시간 분석이 가능해졌다.
• 오픈소스 기술의 사용을 통해 비용 효율적이고 확장성 있으며 상호운용성이 뛰어난 데이터 인프라를 제공하여 복잡한 연구 워크로드를 지원했다.
• 다양한 데이터 소스를 통합하고 확장 가능한 분석을 가능하게 하여 계산 기반 의료 및 정밀의료 연구를 위한 견고한 기반을 제공했다.