[論文レビュー] Machine Learning for Mechanical Ventilation Control

Daniel Suo, Naman Agarwal+13 more|arXiv (Cornell University)|Feb 12, 2021

Respiratory Support and Mechanisms参考文献 31被引用数 4

ひとこと要約

本論文は、多様な肺状態において目標圧力波形を追跡する能力において、標準のPIDコントローラーを上回るデータ駆動型で微分可能な強化学習コントローラーを提案する。呼吸器-肺動態の学習済みシミュレータ上で訓練されたニューラルネットワークコントローラーにより、従来の手法やベースラインRLアプローチと比較して、高い精度、頑健性、およびサンプル効率を達成している。

ABSTRACT

We consider the problem of controlling an invasive mechanical ventilator for pressure-controlled ventilation: a controller must let air in and out of a sedated patient's lungs according to a trajectory of airway pressures specified by a clinician. Hand-tuned PID controllers and similar variants have comprised the industry standard for decades, yet can behave poorly by over- or under-shooting their target or oscillating rapidly. We consider a data-driven machine learning approach: First, we train a simulator based on data we collect from an artificial lung. Then, we train deep neural network controllers on these simulators.We show that our controllers are able to track target pressure waveforms significantly better than PID controllers. We further show that a learned controller generalizes across lungs with varying characteristics much more readily than PID controllers do.

研究の動機と目的

• 患者固有の肺動態への適応性が低いため、PIDコントローラーが過大応答、過小応答、リバーブを引き起こすという限界を是正すること。
• 手動チューニングや物理的実験に依存しない、シミュレートされた呼吸器-肺相互作用から学習するデータ駆動型制御フレームワークの開発。
• モデルベースとモデルフリーの強化学習手法を、サンプル効率と訓練安定性の観点から比較評価すること。
• 将来的な知能的呼吸器制御分野の研究を促進するため、オープンソースで自己完結型の微分可能シミュレータの作成。
• 学習済みコントローラーが、チューニング済みPIDコントローラーと比較して、多様な肺特性にわたってより優れた一般化性能を示すことを実証すること。

提案手法

• 本手法は、実際の呼吸器データに基づいて訓練された微分可能シミュレータを用い、抵抗（R）およびコンプライアンス（C）パラメータの異なる条件下での肺圧の合成的トレースを生成する。
• 解析的ポリシー勾配降下法を用いてニューラルネットワークコントローラーを訓練し、シミュレータの動的挙動を経由するエンドツーエンドのバックプロパゲーションを可能にし、効率的な最適化を実現する。
• コントローラーは、各時刻における目標圧力波形と実現された肺圧の間のL1距離を最小化するように訓練される。
• 現在の圧力、目標圧力、呼吸周期内経過時間の情報を含む状態表現を採用することで、コントローラーが変化する呼吸パターンに適応可能となる。
• 本手法は、6つのISO基準肺設定でのシミュレーションおよび物理的テストルーブでの評価が行われ、チューニング済みPIDおよびベースラインRLアルゴリズムと性能を比較した。
• ベースライン（PPO、DQN）に対しては広範なハイパーパrameterチューニングが実施されたが、本手法は最小限のチューニングで済み、標準的な学習率の選択に依存するのみである。

実験結果

リサーチクエスチョン

• RQ1 学習済みニューラルネットワークコントローラーは、多様な肺特性にわたって、目標圧力波形の追従性において標準のPIDコントローラーを上回ることができるか？
• RQ2 PPO や DQN といったモデルフリー手法と比較して、微分可能でモデルベースの強化学習アプローチは、サンプル効率および訓練安定性においてどのように差を示すか？
• RQ3 学習済みシミュレータ上で訓練されたコントローラーは、未観測の肺設定に一般化できる程度の性能を示し、物理的呼吸器でも実行可能か？
• RQ4 複数の肺タイプで訓練された1つのコントローラーは、個々の肺タイプごとに最適チューニングされたPIDコントローラーの最良の性能を上回ることができるか？
• RQ5 微分可能ダイナミクスの導入が、リアルタイムまたはリソース制約のある制御システムの実装可能性に与える影響は何か？

主な発見

• 物理的テストルーブにおいて、6つのISO基準肺設定すべてで、学習済みコントローラーは最良のチューニング済みPIDコントローラーを上回り、圧力追従性のL1誤差が顕著に低減された。
• 6つの肺設定すべてで訓練されたコントローラーは、個別に設定ごとにチューニングされたPIDコントローラーのいずれよりも優れた性能を示し、優れた一般化性能を実証した。
• 解析的ポリシー勾配法は100回未満の訓練エピソードで収束したが、PPO や DQN は数万回のエピソードを要したため、サンプル効率が100倍以上向上した。
• 本手法は安定した訓練を示し、ハイパーパrameterチューニングも最小限に抑えられた。一方、PPO や DQN はそれぞれ720回および180回のハイパーパrameter試行を要して同等の性能に到達した。
• 学習済みコントローラーは、上昇時間の短縮、過大応答の最小化、およびインスピレーション中におけるリバーブの不在を達成した。これに対して、P-Only、I-Only、およびPIDコントローラーは顕著な一時的誤差を示した。
• 微分可能シミュレータにより、ダイナミクスを経由するエンドツーエンドの訓練が可能となり、標準的なRLベースラインと比較してサンプル効率および計算効率の両面で優れた性能を発揮した。