[논문 리뷰] AI-oriented Medical Workload Allocation for Hierarchical Cloud/Edge/Device Computing

Tianshu Hao, Jianfeng Zhan외 3명|arXiv (Cornell University)|2020. 02. 10.

IoT and Edge/Fog Computing참고 문헌 28인용 수 4

한 줄 요약

이 논문은 응급 의료 환경에서 계층적 클라우드/에지/디바이스 시스템을 대상으로 AI 중심의 워크로드 할당 전략을 제안하며, 처리 및 전송 지연 시간을 기반으로 생명 위험 예측, 호흡곤란 경고 등의 의료 AI 워크로드를 클라우드, 에지, 또는 디바이스 중 가장 적합한 계층에 동적으로 할당하여 반응 시간을 최적화한다. 이 방법은 고정된 계층 배포 전략에 비해 총 반응 시간을 최대 63% 감소시킨다.

ABSTRACT

In a hierarchically-structured cloud/edge/device computing environment, workload allocation can greatly affect the overall system performance. This paper deals with AI-oriented medical workload generated in emergency rooms (ER) or intensive care units (ICU) in metropolitan areas. The goal is to optimize AI-workload allocation to cloud clusters, edge servers, and end devices so that minimum response time can be achieved in life-saving emergency applications. In particular, we developed a new workload allocation method for the AI workload in distributed cloud/edge/device computing systems. An efficient scheduling and allocation strategy is developed in order to reduce the overall response time to satisfy multi-patient demands. We apply several ICU AI workloads from a comprehensive edge computing benchmark Edge AIBench. The healthcare AI applications involved are short-of-breath alerts, patient phenotype classification, and life-death threats. Our experimental results demonstrate the high efficiency and effectiveness in real-life health-care and emergency applications.

연구 동기 및 목표

• 세 단계의 클라우드/에지/디바이스 아키텍처 내에서 지연 시간에 민감한 의료 AI 응용 프로그램에서 반응 시간을 최소화하는 문제를 해결한다.
• 계산 능력과 네트워크 조건을 기반으로 개별 의료 AI 워크로드에 대한 최적의 배포 계층(클라우드, 에지, 또는 디바이스)을 식별한다.
• 총 반응 시간과 마지막 완료 반응 시간을 최소화하기 위해 다중 동시 의료 AI 작업을 위한 스케줄링 전략을 개발한다.
• 실제 ICU 데이터셋과 에지 AI 벤치마크를 사용하여 제안된 전략을 평가하여 임상적 관련성과 실용적 효과성을 확보한다.

제안 방법

• 반응 시간을 처리 시간(디바이스의 계산 능력에 의존)과 전송 시간(네트워크 대역폭에 의존)의 합으로 수식화한다.
• 세 계층 간의 계산 부하와 통신 오버헤드 사이의 트레이드오프로 워크로드 할당을 모델링한다.
• 분석적 지연 추정을 사용하여 종단 간 반응 시간을 최소화하는 배포 계층을 선택하는 단일 워크로드 최적화 알고리즘을 제안한다.
• 누적 반응 시간을 최소화하기 위해 워크로드 순서를 우선순위 정렬하는 히ュ리스틱 기반 스케줄링 알고리즘을 설계한다.
• 실제 의료 AI 워크로드(예: 환자 표현형 분류, 생명 위협 탐지)를 포함한 Edge AIBench의 워크로드 특성 분석을 통합한다.
• 수치 분석과 시뮬레이션을 통해 제안된 전략을 고정된 배포 전략(예: 모두 클라우드, 에지, 또는 디바이스에 배포)과 비교한다.

실험 결과

연구 질문

• RQ1 계층적 클라우드/에지/디바이스 시스템에서 단일 AI 워크로드의 반응 시간을 최소화하기 위해 최적의 배포 계층(클라우드, 에지, 또는 디바이스)은 무엇인가?
• RQ2 다중 작업 의료 AI 시나리오에서 계층 간 동적 워크로드 할당은 총 반응 시간에 어떤 영향을 미치는가?
• RQ3 다수의 지연 시간에 민감한 의료 AI 작업이 순차적으로 처리될 경우 총 반응 시간을 최소화하는 스케줄링 전략은 무엇인가?
• RQ4 ICU 응용 프로그램에서 제안된 할당 전략은 고정된 계층 배포 전략에 비해 반응 시간 감소 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 워크로드 할당 전략은 총 반응 시간 150 단위를 달성하였으며, 이는 각 워크로드에 대해 최적의 계층에 배포한 경우(227 단위)보다 33% 낮은 수준이다.
• 전략은 마지막 완료 시간을 43 단위로 줄여 클라우드 서버에 배포한 경우(74 단위)에 비해 63% 향상시켰다.
• 모든 작업을 에지 서버에 배포한 경우와 비교해 제안된 방법은 반응 시간을 63% 감소시켰다(416 대비 150 단위).
• 총 반응 시간과 마지막 반응 시간 모두에서, 종단 기기(366 단위)와 에지 서버(416 단위)에 배포한 모든 베이스라인 접근 방식보다 제안된 방법이 뛰어난 성능을 보였다.
• 결과는 워크로드 특성과 시스템 제약 조건를 기반으로 한 동적 계층 선택이 정적 배포 방식에 비해 성능을 크게 향상시킨다는 것을 입증한다.
• 히ュ리스틱 스케줄링 알고리즘이 우선순위가 부여된 의료 워크로드를 포함한 고병렬 환경에서 작업 대기 지연을 효과적으로 줄였다.