[論文レビュー] Deep Reinforcement Learning for Closed-Loop Blood Glucose Control

Ian Fox, Joyce M. Lee+2 more|arXiv (Cornell University)|Sep 18, 2020

Diabetes Management and Research参考文献 40被引用数 28

ひとこと要約

本論文は、患者個別化されたアクションスペースと転移学習を用いて、最小限の患者特有データで安定したパフォーマンスを達成する、タイプ1糖尿病における自動的・クローズドループ型血糖コントロールのための深層強化学習（DRL）フレームワークを提案する。30名のシミュレートされた患者を対象に、中程度の血糖変動リスクを8.34から4.24へ50%削減し、低血糖時間も4,610日から6日へ99.8%削減した。PID制御と比較して優れた性能を示し、予測可能な食事スケジュールにも効果的に適応した。

ABSTRACT

People with type 1 diabetes (T1D) lack the ability to produce the insulin their bodies need. As a result, they must continually make decisions about how much insulin to self-administer to adequately control their blood glucose levels. Longitudinal data streams captured from wearables, like continuous glucose monitors, can help these individuals manage their health, but currently the majority of the decision burden remains on the user. To relieve this burden, researchers are working on closed-loop solutions that combine a continuous glucose monitor and an insulin pump with a control algorithm in an `artificial pancreas.' Such systems aim to estimate and deliver the appropriate amount of insulin. Here, we develop reinforcement learning (RL) techniques for automated blood glucose control. Through a series of experiments, we compare the performance of different deep RL approaches to non-RL approaches. We highlight the flexibility of RL approaches, demonstrating how they can adapt to new individuals with little additional data. On over 2.1 million hours of data from 30 simulated patients, our RL approach outperforms baseline control algorithms: leading to a decrease in median glycemic risk of nearly 50% from 8.34 to 4.24 and a decrease in total time hypoglycemic of 99.8%, from 4,610 days to 6. Moreover, these approaches are able to adapt to predictable meal times (decreasing average risk by an additional 24% as meals increase in predictability). This work demonstrates the potential of deep RL to help people with T1D manage their blood glucose levels without requiring expert knowledge. All of our code is publicly available, allowing for replication and extension.

研究の動機と目的

• 手動のインスリン投与や食事のアナウンスに依存しない、タイプ1糖尿病における自動的血糖コントロールのための深層強化学習（DRL）手法の開発。
• 患者特有データの制限という課題に対処するため、わずかなデータで迅速に適応可能な、転移学習手法を導入すること。
• 深刻な失敗を回避するため、報酬設計、データのランダムネス、および複数回のランダム再起動におけるモデル選択を用いて、医療分野におけるDRLの安全性と安定性を向上させること。
• 実際のオープンソースの仮想患者シミュレータを用いて、非RLベースライン（例：PID）と比較してDRLのパフォーマンスを評価すること。
• 研究の再現、拡張、臨床的強化学習分野への広範な応用を可能にするために、公開可能なコードベースを提供すること。

提案手法

• 個別化されたアクションスペースを備えた深層Qネットワーク（DQN）で、インスリン投与量の個別化を正規化し、安全性と有効性のバランスを図る。
• 事前学習済みモデル（多様な患者集団から得たもの）を用いた転移学習戦略（RL-Trans）を採用し、患者特有データをわずか10エポック（約半年分）で迅速に適応可能にする。
• 低血糖と高血糖をペナルティ化するが、インスリン使用への過剰ペナルティを回避する安全強化報酬関数を設計し、耐障害性を向上させ、深刻な失敗を低減する。
• 複数回のランダム再起動における検証データを用いた広範なモデル選択により、過学習を回避し、故障率が低い安定したポリシーを選択する。
• 30名の仮想患者から得た合計210万時間分のデータを用いた大規模シミュレータ上で評価し、長時間スパンのロールアウトを用いて実世界のパフォーマンスを評価する。
• 4時間分の状態履歴（グルコースおよびインスリンデータ）を入力として使用し、長期的パターンへの過剰適合を避けるとともに、最近のトレンドを捉える。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、食事のアナウンスなしで、タイプ1糖尿病において人間水準の血糖コントロールを達成できるか？
• RQ2 転移学習は、血糖コントロールのための患者特有DRLポリシーの学習において、どの程度データの効率性を向上させるか？
• RQ3 深刻な失敗を最小限に抑えるために、安全で臨床的重要な医療アプリケーションにおけるDRLを安定化させる技術は何か？
• RQ4 DRLは、従来の制御アルゴリズム（例：PID）と比較して、血糖変動リスクと低血糖時間の低減において、どの程度優れたパフォーマンスを示すか？
• RQ5 DRLは予測可能な食事スケジュールにどの程度適応できるか？また、その適応性が全体のパフォーマンスにどのように影響するか？

主な発見

• DRL手法により、中程度の血糖変動リスクが8.34から4.24に低下し、ベースラインのPID制御と比較して約50%の改善が達成された。
• 低血糖状態にいる合計時間は4,610日からわずか6日へ99.8%削減され、安全性の高い性能が示された。
• 患者特有データなしの状態でも、転移学習バージョン（RL-Trans）は40%のロールアウトでPIDを上回り、わずか10エポックのファインチューニングで59.6%のロールアウトでPIDを上回った。
• RL-Transでは、5エポック経過後も深刻な失敗率が0.5%未満に保たれたが、非転移ベースライン（RL-Scratch）は同条件で17%を超える失敗率を示した。
• 食事の予測可能性が高まるにつれ、平均リスクはさらに24%低下し、DRLが食行動の時間的パターンを効果的に活用できることを示した。
• 安全強化報酬関数、現実的なデータのランダムネス、および複数回のランダム再起動におけるモデル選択の併用により、ポリシーの安定性が著しく向上し、最悪ケースのパフォーマンス問題が軽減された。