[论文解读] Machine Learning for Mechanical Ventilation Control

Daniel Suo, Naman Agarwal+13 more|arXiv (Cornell University)|Feb 12, 2021

Respiratory Support and Mechanisms参考文献 31被引用 4

一句话总结

本文提出了一种数据驱动的、可微分的强化学习控制器，用于机械通气控制，在多种肺部状况下对目标压力波形的跟踪性能优于标准的PID控制器。通过在通气机-肺部动力学的预训练模拟器上训练神经网络控制器，该方法在准确性、鲁棒性和样本效率方面均优于传统及基线强化学习方法。

ABSTRACT

We consider the problem of controlling an invasive mechanical ventilator for pressure-controlled ventilation: a controller must let air in and out of a sedated patient's lungs according to a trajectory of airway pressures specified by a clinician. Hand-tuned PID controllers and similar variants have comprised the industry standard for decades, yet can behave poorly by over- or under-shooting their target or oscillating rapidly. We consider a data-driven machine learning approach: First, we train a simulator based on data we collect from an artificial lung. Then, we train deep neural network controllers on these simulators.We show that our controllers are able to track target pressure waveforms significantly better than PID controllers. We further show that a learned controller generalizes across lungs with varying characteristics much more readily than PID controllers do.

研究动机与目标

• 解决PID控制器在机械通气中因对患者特异性肺部动力学适应性差而导致的超调、欠调和振 ringing 等局限性。
• 开发一种数据驱动的控制框架，通过学习通气机-肺部相互作用的模拟数据，减少对人工调参和物理实验的依赖。
• 评估并比较基于模型与无模型强化学习方法在通气机控制中的表现，重点关注样本效率和训练稳定性。
• 创建开源、自包含的可微分模拟器，降低未来智能通气机控制研究的门槛。
• 证明学习到的控制器在多种肺部特性下的泛化能力优于调优后的PID控制器。

提出的方法

• 该方法使用基于真实通气机数据训练的可微分模拟器，生成不同R和C参数（阻力和顺应性）下的肺部压力合成轨迹。
• 采用解析策略梯度下降法训练神经网络控制器，实现通过模拟器动力学的端到端反向传播，以实现高效优化。
• 控制器被训练以最小化每个时间步的目标压力波形与实际达到的肺部压力之间的L1距离。
• 该方法采用包含当前压力、目标压力和呼吸周期时间在内的状态表示，使控制器能够适应动态呼吸模式。
• 该方法在六种ISO标准肺部设置的模拟环境中以及一台物理测试肺上进行评估，与调优后的PID控制器和基线强化学习算法进行性能对比。
• 对基线方法（PPO、DQN）进行了广泛的超参数调优，而所提方法仅需极少调优，主要依赖标准学习率选择。

实验结果

研究问题

• RQ1 学习到的神经网络控制器是否能在多种肺部特性下优于标准PID控制器，实现对目标压力波形的跟踪？
• RQ2 与PPO和DQN等无模型方法相比，可微分的、基于模型的强化学习方法在样本效率和训练稳定性方面表现如何？
• RQ3 在学习模拟器上训练的控制器在未见过的肺部设置下能多大程度上实现泛化，并在物理通气机上表现良好？
• RQ4 在多种肺类型上联合训练的单一控制器是否能优于为每种单独肺类型调优的最佳PID控制器？
• RQ5 可微分动力学对实时或资源受限控制系统的可行性有何影响？

主要发现

• 在六种ISO标准肺部设置下，学习到的控制器在物理测试肺上对所有设置的L1压力跟踪误差均显著低于最佳调优PID控制器。
• 在所有六种肺部设置上联合训练的控制器性能优于为每种设置单独调优的PID控制器，证明了其更优的泛化能力。
• 解析策略梯度方法在100次训练回合内即收敛，而PPO和DQN分别需要数万次回合，凸显了100倍以上的样本效率优势。
• 所提方法表现出稳定的训练过程，且仅需极少超参数调优；相比之下，PPO和DQN分别需720次和180次超参数试验才能达到相近性能。
• 学习到的控制器实现了更快的上升时间，极小的超调，且在吸气期无振 ringing 现象，而P-only、I-only和PID控制器则表现出显著的瞬态误差。
• 可微分模拟器实现了通过动力学的端到端训练与反向传播，使该方法在样本效率和计算效率方面均优于标准强化学习基线方法。