[論文レビュー] Model-Based Reinforcement Learning for Type 1Diabetes Blood Glucose Control

Taku Yamagata, Aisling Ann O’Kane+6 more|arXiv (Cornell University)|Oct 13, 2020

Diabetes Management and Research被引用数 9

ひとこと要約

本稿では、血液糖値予測にエコー状態ネットワーク（ESN）を用い、行動計画にモデル予測制御（MPC）を採用する、型1糖尿病における自己調整インスリン投与のためのモデルベース強化学習（MBRL）フレームワークを提案する。アンサンブルベースの不確実性推定を組み込むことで、サンプル効率とロバスト性が向上し、特に初期学習段階および多様な患者プロファイルにおいて、ベースラインのベースアル・ボルス制御とディープQネットワーク（DQN）を上回る性能を発揮した。

ABSTRACT

In this paper we investigate the use of model-based reinforcement learning to assist people with Type 1 Diabetes with insulin dose decisions. The proposed architecture consists of multiple Echo State Networks to predict blood glucose levels combined with Model Predictive Controller for planning. Echo State Network is a version of recurrent neural networks which allows us to learn long term dependencies in the input of time series data in an online manner. Additionally, we address the quantification of uncertainty for a more robust control. Here, we used ensembles of Echo State Networks to capture model (epistemic) uncertainty. We evaluated the approach with the FDA-approved UVa/Padova Type 1 Diabetes simulator and compared the results against baseline algorithms such as Basal-Bolus controller and Deep Q-learning. The results suggest that the model-based reinforcement learning algorithm can perform equally or better than the baseline algorithms for the majority of virtual Type 1 Diabetes person profiles tested.

研究の動機と目的

• モデルベース強化学習を用いて、型1糖尿病におけるサンプル効率的で適応的なインスリン投与システムを開発すること。
• 血液糖値予測におけるモデル不確実性を定量化することで意思決定のロバスト性を向上させること。
• 提案されたMBRLフレームワークを、ベースアル・ボルス制御やディープQネットワーク（DQN）といった既存のベースラインと比較すること。
• 不確実性推定が多様な患者プロファイルにおける学習効率および制御性能に与える影響を評価すること。
• 学習済みモデルからの対向予測を活用して、説明可能なインスリン投与推奨を実現すること。

提案手法

• 本システムは、食事量やインスリン投与量などの時系列入力を用いて、将来の血液糖値を予測する複数のエコー状態ネットワーク（ESN）を用いる。
• ESNのアンサンブルを用いて、予測におけるエピステミック的不確実性を推定し、モデル誤差に対するロバスト性を向上させる。
• MPCはESNの予測を用いて将来の軌道をシミュレートし、最適なインスリン投与量を計画する。
• MBRLエージェントは、UVa/Padovaシミュレータとオンラインで相互作用しながら学習を進め、時間内範囲（70–180 mg/dL）に滞在する時間に応じた報酬を最大化する。
• 訓練中に不確実性を考慮したコスト計算が行われ、複数のESN予測の平均をとることで予測の信頼性を反映する。
• 24時間のエピソード期間を用い、性能は目標血糖値範囲内に滞在する時間で測定される。

実験結果

リサーチクエスチョン

• RQ1 モデルベース強化学習アプローチは、型1糖尿病における従来のインスリン管理戦略と同等またはそれ以上の性能を達成できるか？
• RQ2 ESNアンサンブルによるモデル不確実性の組み込みが、インスリン投与における学習速度および制御安定性に与える影響はいかほどか？
• RQ3 MBRLフレームワークは、年齢、活動量、インスリン感受性に差がある多様な仮想患者プロファイルにどの程度一般化可能か？
• RQ4 不確実性を考慮したMBRLエージェントは、初期学習段階および長期的性能において、不確実性を考慮しないバージョンと比較してどのように異なるか？
• RQ5 MBRLシステムは、臨床意思決定を支援する説明可能な対向予測を生成できるか？

主な発見

• MBRLエージェントは、大多数の仮想患者プロファイルにおいて、目標血糖値範囲（70–180 mg/dL）内に滞在する割合が最も高く、ベースアル・ボルス制御およびGRU-DQNベースラインを上回った。
• 思春期#001では、MBRLエージェントが100%の時間内範囲を達成し、ベースアル・ボルス制御（85.8%）およびGRU-DQN（81.4%）を大きく上回った。
• 不確実性を考慮したMBRLバージョンは、非不確実性バージョンよりも訓練初期段階で、24時間のエピソード期間に到達（終了なし）するのを早く達成しており、初期学習段階におけるサンプル効率の向上が示された。
• 漸近的性能においては、不確実性を考慮したバージョンと非不確実性バージョンの両者に差はなく、成人#001ではそれぞれ56.8%および56.7%の時間内範囲を達成した。
• MBRLフレームワークは、小児（小児#001：59.6%）、思春期（思春期#001：100%）、成人（成人#002：73.3%）を含む多様なプロファイルにおいてもロバスト性を示した。
• 不確実性推定メカニズムにより、特に変動が大きく、理解が難しい患者状態において、より安全な探索を促進し、初期学習段階の性能が顕著に向上した。