[논문 리뷰] Machine Learning for Mechanical Ventilation Control

Daniel Suo, Naman Agarwal외 13명|arXiv (Cornell University)|2021. 02. 12.

Respiratory Support and Mechanisms참고 문헌 31인용 수 4

한 줄 요약

이 논문은 다양한 폐 조건에서 목표 압력 파형을 추적하는 데 있어 표준 PID 컨트롤러를 능가하는 데이터 기반, 미분 가능한 강화학습 컨트롤러를 제안한다. 기계적 통기 장치-폐 역학의 학습된 시뮬레이터를 기반으로 신경망 컨트롤러를 훈련시킴으로써, 전통적 및 기준 강화학습 접근법에 비해 더 높은 정확도, 강건성, 샘플 효율성을 달성한다.

ABSTRACT

We consider the problem of controlling an invasive mechanical ventilator for pressure-controlled ventilation: a controller must let air in and out of a sedated patient's lungs according to a trajectory of airway pressures specified by a clinician. Hand-tuned PID controllers and similar variants have comprised the industry standard for decades, yet can behave poorly by over- or under-shooting their target or oscillating rapidly. We consider a data-driven machine learning approach: First, we train a simulator based on data we collect from an artificial lung. Then, we train deep neural network controllers on these simulators.We show that our controllers are able to track target pressure waveforms significantly better than PID controllers. We further show that a learned controller generalizes across lungs with varying characteristics much more readily than PID controllers do.

연구 동기 및 목표

• 환자별 폐 역학에 대한 적응성 부족으로 인해 PID 컨트롤러가 과도한 반응, 부족 반응, 진동을 유발하는 등의 한계를 해결하기 위해.
• 실제 실험 및 수동 튜닝에 대한 의존도를 줄이기 위해 시뮬레이션된 통기 장치-폐 상호작용으로부터 학습하는 데이터 기반 제어 프레임워크를 개발하기 위해.
• 모델 기반 및 모델리스 강화학습 방법을 통기 제어에 대해 평가하고 비교하여 샘플 효율성과 훈련 안정성에 초점을 맞추기 위해.
• 향후 지능형 통기 제어 분야의 연구 접근성을 높이기 위해 오픈소스이자 자체 포함형인 미분 가능한 시뮬레이터를 구축하기 위해.
• 학습된 컨트롤러가 튜닝된 PID 컨트롤러보다 다양한 폐 특성에 더 잘 일반화됨을 보여주기 위해.

제안 방법

• 실제 통기 장치 데이터를 기반으로 훈련된 미분 가능한 시뮬레이터를 사용하여 다양한 R 및 C 파rameter(저항 및 탄성) 조건에서 폐 압력의 합성 트레이젝터리를 생성한다.
• 해석적 정책 기울기 경량화를 사용하여 신경망 컨트롤러를 훈련시켜 시뮬레이터의 역학을 통해 전방전파를 효율적으로 최적화할 수 있도록 한다.
• 모든 시간 단계에서 목표 압력 파형과 실제 달성된 폐 압력 간의 L1 거리를 최소화하도록 컨트롤러를 훈련시킨다.
• 현재 압력, 목표 압력, 숨결 내 경과 시간을 포함한 상태 표현을 사용하여 컨트롤러가 동적인 숨결 패턴에 적응할 수 있도록 한다.
• 모델 기반 및 모델리스 강화학습 방법을 비교하기 위해 시뮬레이션 환경(6개의 ISO 표준 폐 설정)과 실제 테스트 폐에서 성능을 평가한다.
• 기준 모델(PPO, DQN)에 대해 광범위한 초모수 튜닝을 수행한 반면, 제안된 방법은 표준 학습률 선택 외에 최소한의 튜닝만 필요로 한다.

실험 결과

연구 질문

• RQ1 학습된 신경망 컨트롤러가 다양한 폐 특성에 걸쳐 목표 압력 파형을 추적하는 데 있어 표준 PID 컨트롤러를 능가할 수 있는가?
• RQ2 모델 기반의 미분 가능한 강화학습 접근법이 PPO 및 DQN과 같은 모델리스 방법에 비해 샘플 효율성과 훈련 안정성 측면에서 어떻게 비교되는가?
• RQ3 학습된 시뮬레이터를 기반으로 훈련된 컨트롤러가 미리 보지 못한 폐 설정에 대해 얼마나 잘 일반화되며, 실제 통기 장치에서 성능을 내는가?
• RQ4 여러 종류의 폐 유형에 대해 훈련된 단일 컨트롤러가 각각의 폐 유형에 대해 최적화된 PID 컨트롤러를 능가할 수 있는가?
• RQ5 미분 가능한 역학이 실시간 또는 자원 제약이 있는 제어 시스템 구현 가능성에 어떤 영향을 미치는가?

주요 결과

• 모든 6개의 ISO 표준 폐 설정에서 실제 테스트 폐에서 학습된 컨트롤러가 최적화된 PID 컨트롤러를 능가하며, 특히 압력 추적에 있어 L1 오차가 유의미하게 감소하였다.
• 6개의 폐 설정 전부에 대해 훈련된 컨트롤러가 각 설정에 맞게 튜닝된 개별 PID 컨트롤러보다 뛰어난 성능을 보이며, 더 뛰어난 일반화 능력을 입증하였다.
• 해석적 정책 기울기 방법은 100회 이내의 훈련 에피소드 내에 수렴한 반면, PPO와 DQN은 수만 회의 에피소드가 필요했으며, 이는 샘플 효율성에서 100배 이상의 향상을 보였다.
• 제안된 방법은 안정적인 훈련을 보였고, PPO와 DQN과 달리 초모수 튜닝이 최소한이었으며, 비교 성능에 도달하기 위해 각각 720회, 180회의 초모수 실험을 수행한 반면, 본 방법은 이를 초월하였다.
• 학습된 컨트롤러는 상승 시간이 빠르고, 과도 반응이 최소화되었으며, 흡기 과정에서 진동이 없었으며, P-단독, I-단독, PID 컨트롤러는 뚜렷한 일시적 오차를 보였다.
• 미분 가능한 시뮬레이터 덕분에 역동성의 전방전파를 통해 엔드 투 엔드 훈련이 가능했으며, 기존 강화학습 기준 모델 대비 샘플 및 계산 효율성이 뛰어났다.