[논문 리뷰] Developing and Deploying Machine Learning Pipelines against Real-Time Image Streams from the PACS.

Pradeeban Kathiravelu, Ashish Sharma외 5명|arXiv (Cornell University)|2020. 04. 16.

Digital Radiography and Breast Imaging인용 수 2

한 줄 요약

Niffler는 병원 PACS에서 DICOM 데이터를 효율적으로 쿼리하고 검색하여 영상의학 영상에서 실시간 및 후행 처리 기반의 머신러닝 파이프라인 실행을 가능하게 하는 프레임워크입니다. 메타데이터 추출, 필터링, 결과의 익명화된 공유를 지원하며, 19개월간의 안정적인 운영 기간 동안 세 가지 임상용 사례에서 실행 가능성과 검증을 입증했습니다.

ABSTRACT

Executing machine learning (ML) pipelines in real-time on radiology images is hard due to the limited computing resources in clinical environments and the lack of efficient data transfer capabilities to run them on research clusters. We propose Niffler, an integrated framework that enables the execution of ML pipelines at research clusters by efficiently querying and retrieving radiology images from the Picture Archiving and Communication Systems (PACS) of the hospitals. Niffler uses the Digital Imaging and Communications in Medicine (DICOM) protocol to fetch and store imaging data and provides metadata extraction capabilities and Application programming interfaces (APIs) to apply filters on the images. Niffler further enables the sharing of the outcomes from the ML pipelines in a de-identified manner. Niffler has been running stable for more than 19 months and has supported several research projects at the department. In this paper, we present its architecture and three of its use cases: an inferior vena cava (IVC) filter detection from the images in real-time, identification of scanner utilization, and scanner clock calibration. Evaluations on the Niffler prototype highlight its feasibility and efficiency in facilitating the ML pipelines on the images and metadata in real-time and retrospectively.

연구 동기 및 목표

• 제한된 컴퓨팅 자원과 열악한 데이터 전송 환경을 가진 임상 현장에서 머신러닝 파이프라인을 영상의학 영상에 적용하는 데 도전하는 것.
• 표준화된 DICOM 프로토콜을 사용하여 병원 PACS 시스템에서 의료 영상 데이터에 효율적이고 실시간으로 액세스할 수 있도록 하는 것.
• 환자의 개인정보 보호를 해치지 않으면서도 머신러닝 파이프라인에 적합한 메타데이터 추출 및 필터링 기능을 제공하는 것.
• 연구 프로젝트 간에 머신러닝 파이프라인 결과를 익명화된 형식으로 공유할 수 있도록 지원하는 것.
• 이 프레임워크가 실제 임상 연구 환경에서 실행 가능성과 효율성을 입증하는 것.

제안 방법

• Niffler는 병원 PACS 시스템에서 직접적으로 안전하게 영상 데이터를 쿼리하고 검색하기 위해 DICOM 프로토콜을 사용합니다.
• DICOM 스터디에서 메타데이터를 추출하고, 영상 매개변수 또는 임상 기준에 따라 필터를 적용할 수 있는 API를 제공합니다.
• 지속적인 데이터 파이프라인을 유지하여 실시간 및 후행 처리를 모두 가능하게 하는 파이프라인 아키텍처를 제공합니다.
• 머신러닝 파이프라인은 연구용 클러스터에서 검색된 데이터를 기반으로 실행되어 계산 작업을 임상 영상 인프라에서 분리합니다.
• 머신러닝 분석 결과는 환자의 개인정보 보호 및 규정 준수를 확보하기 위해 익명화된 형식으로 공유됩니다.
• 시스템은 다수의 연구 프로젝트에 걸쳐 확장 가능하도록 설계되었으며, 기존 병원 IT 워크플로우와의 통합도 지원합니다.

실험 결과

연구 질문

• RQ1 연구용 머신러닝 파이프라인에 실시간 영상 데이터를 효율적이고 안전하게 병원 PACS에서 검색할 수 있는 프레임워크는 가능한가요?
• RQ2 PACS에서 온 영상을 처리하는 파이프라인에 메타데이터 추출 및 필터링을 통합할 수 있는 방법은 무엇이며, 임상 시스템의 부담을 최소화할 수 있을까요?
• RQ3 PACS에서 실시간 및 후행적으로 검색된 데이터를 기반으로 머신러닝 파이프라인을 얼마나 효과적으로 실행할 수 있을까요?
• RQ4 프레임워크는 데이터 프라이버시를 유지하면서도 머신러닝 결과의 익명화된 공유를 지원할 수 있을까요?
• RQ5 이러한 시스템을 임상 연구 환경에 구현할 경우 실용적인 성능 및 안정성 결과는 어떠한가요?

주요 결과

• Niffler는 임상 연구 환경에서 19개월 이상 안정적으로 운영되어 장기적인 신뢰성을 입증했습니다.
• 프레임워크는 PACS에서 검색한 데이터를 기반으로 영상에서 하복맥 정맥필터(IVC 필터)를 실시간으로 탐지하는 데 성공했습니다.
• 영상 워크플로우 메타데이터 분석을 통해 스캐너 활용 패턴을 식별하는 데 기여했습니다.
• 연구자들은 스터디 수집 타임스탬프의 시간적 일관성 문제를 탐지함으로써 스캐너 시계 캘리브레이션을 지원할 수 있었습니다.
• 효율적인 데이터 전송 및 처리를 통해 임상 현장에서 로컬 컴퓨팅 자원 의존도를 감소시켰습니다.
• 머신러닝 결과의 익명화된 공유 기능이 성공적으로 구현되어 연구 프로젝트 간 협업을 지원할 수 있었습니다.