[논문 리뷰] ISTHMUS: Secure, Scalable, Real-time and Robust Machine Learning Platform for Healthcare

Akshay Arora, Arun Nethi외 6명|arXiv (Cornell University)|2019. 09. 29.

Machine Learning in Healthcare참고 문헌 10인용 수 4

한 줄 요약

Isthmus는 의료 분야를 위한 보안성 확보, HIPAA 준수, 클라우드 기반의 기계학습 플랫폼로, 실시간 데이터 수신, 데이터 통합, 강력한 모니터링을 통해 예측 모델의 엔드 투 엔드 배포를 가능하게 합니다. 데이터 파이프라인 표준화, 모델 라이프사이클 관리 지원, 다양한 데이터 소스(전자건강기록, SDoH, IoT 포함) 통합을 통해 임상 AI의 배포 시간을 단축시킵니다. 외상 예측, 인구건강, 실시간 모니터링 분야의 세 가지 사례 연구를 통해 검증되었습니다.

ABSTRACT

In recent times, machine learning (ML) and artificial intelligence (AI) based systems have evolved and scaled across different industries such as finance, retail, insurance, energy utilities, etc. Among other things, they have been used to predict patterns of customer behavior, to generate pricing models, and to predict the return on investments. But the successes in deploying machine learning models at scale in those industries have not translated into the healthcare setting. There are multiple reasons why integrating ML models into healthcare has not been widely successful, but from a technical perspective, general-purpose commercial machine learning platforms are not a good fit for healthcare due to complexities in handling data quality issues, mandates to demonstrate clinical relevance, and a lack of ability to monitor performance in a highly regulated environment with stringent security and privacy needs. In this paper, we describe Isthmus, a turnkey, cloud-based platform which addresses the challenges above and reduces time to market for operationalizing ML/AI in healthcare. Towards the end, we describe three case studies which shed light on Isthmus capabilities. These include (1) supporting an end-to-end lifecycle of a model which predicts trauma survivability at hospital trauma centers, (2) bringing in and harmonizing data from disparate sources to create a community data platform for inferring population as well as patient level insights for Social Determinants of Health (SDoH), and (3) ingesting live-streaming data from various IoT sensors to build models, which can leverage real-time and longitudinal information to make advanced time-sensitive predictions.

연구 동기 및 목표

• 의료 분야에서 기계학습의 배포를 저해하는 기술적 및 규제적 과제(예: 데이터 품질, 개인정보 보호, 상호운용성)를 해결하기 위해.
• 재사용 가능한 데이터 및 모델 파이프라인을 제공하는 턴키형 클라우드 호스팅 플랫폼을 통해 임상 AI 모델의 시장 진입 시간을 단축하기 위해.
• 임상, 청구, SDoH, 실시간 IoT 데이터 소스를 포함한 다양한 데이터 소스를 통합된 보안 환경으로 통합하여 예측 모델링을 가능하게 하기 위해.
• 학습, 배포, 평가, 재학습을 포함한 모델 라이프사이클 전반에 걸친 지원을 통해 환경 간 일관된 특징 공학을 구현하기 위해.
• 외상 생존 예측, 지역사회 건강 데이터 통합, IoT 기반 실시간 모니터링 분야의 실제 사례 연구를 통해 플랫폼의 유연성을 입증하기 위해.

제안 방법

• Isthmus는 Microsoft Azure 클라우드에 호스팅되며, HIPAA 준수 인프라를 통해 보안성, 장애 내성, 재해 복구를 확보합니다.
• 구성 가능한 데이터 수신 파이프라인은 Apache NiFi를 사용하여 EHR, 청구, SDoH, IoT 소스로부터 구조적 및 비구조적 데이터를 수집, 정제하고 PostgreSQL에 저장합니다.
• 표준화된 데이터 변환 팩키지는 학습 및 추론 간 일관성을 확보하고, 운영 환경에서의 데이터 또는 특징 이탈을 탐지하기 위해 재사용됩니다.
• 플랫폼은 API를 통한 모델 배포를 지원하여 실시간 스코어링 및 임상 워크플로우 및 EHR 시스템과의 통합을 가능하게 합니다.
• 모듈식 아키텍처는 프로젝트 수준의 격리와 코드 재사용을 가능하게 하여 중복을 줄이고 개발 속도를 증가시킵니다.
• 시스템은 실시간 모델 업데이트를 지원하며, 향후 A/B 테스트 및 멀티어머니드 밴딧 테스트 지원을 통해 모델 신뢰성을 확보합니다.

실험 결과

연구 질문

• RQ1 의료 데이터 및 규제 기준의 특수한 요구사항을 충족하는 보안성, 확장성, 실시간 기계학습 플랫폼을 어떻게 아키텍처화할 수 있는가?
• RQ2 임상 기계학습 파이프라인에서 학습 및 추론 간 일관된 특징 공학을 가능하게 하는 기술적 및 아키텍처 패턴은 무엇인가?
• RQ3 EHR, 청구, SDoH, IoT를 포함한 이질적인 데이터 소스를 어떻게 통합하여 단일 플랫폼에서 예측 모델링을 수행할 수 있는가?
• RQ4 점별 솔루션 대비 통합 플랫폼이 임상 환경에서 모델 성능 향상과 배포 속도 향상에 얼마나 기여하는가?
• RQ5 의료 분야에서 실시간 모델 모니터링, 이탈 탐지, 재학습을 위한 턴키 플랫폼 사용의 실용적 영향은 무엇인가?

주요 결과

• Isthmus 플랫폼은 여러 프로젝트 간 표준화된 데이터 파이프라인과 모델 배포 환경을 재사용함으로써 임상 기계학습 모델의 배포 시간을 단축시켰습니다.
• 블록 그룹 단위로 SDoH 데이터를 통합함으로써 조기 출생 위험 예측 모델의 예측 성능이 크게 향상되었습니다.
• 플랫폼은 실시간으로 실내 공기 질 IoT 센서로부터 데이터를 수신 및 처리하여 스트리밍 데이터 워크로드에 대한 준비성을 입증했습니다.
• 중앙집중식으로 보안성 확보되고 감사 가능한 데이터 파이프라인을 통해 학습 및 추론 간 일관된 데이터 품질과 특징 공학을 확보함으로써 이탈 관련 모델 성능 저하를 감소시켰습니다.
• 플랫폼의 모듈식 및 재사용 가능한 아키텍처는 최소한의 중복 작업으로 여러 모델의 빠른 프로토타이핑 및 배포를 가능하게 했습니다.
• 사례 연구를 통해 플랫폼이 단일, 규제 준수 인프라 내에서 외상 생존 예측부터 인구건강 분석에 이르기까지 다양한 용도를 지원할 수 있음을 확인했습니다.