[논문 리뷰] Model-Based Reinforcement Learning for Type 1Diabetes Blood Glucose Control

Taku Yamagata, Aisling Ann O’Kane외 6명|arXiv (Cornell University)|2020. 10. 13.

Diabetes Management and Research인용 수 9

한 줄 요약

이 논문은 에코 스테이트 네트워크(ESNs)를 사용해 혈액 포도당 수치를 예측하고 모델 예측 제어기(MPC)를 통해 행동 계획을 수립함으로써 제1형 당뇨병 환자에게 자동 인슐린 투여를 위한 모델 기반 강화학습(MBRL) 프레임워크를 제안한다. 앙상블 기반의 불확실성 추정을 통합함으로써 샘플 효율성과 강인성이 향상되어, 초기 학습 단계 및 다양한 환자 프로파일에서 기존의 베이스라인인 베이스라인-볼루스 컨트롤러와 딥 Q-네트워크(DQN)를 능가한다.

ABSTRACT

In this paper we investigate the use of model-based reinforcement learning to assist people with Type 1 Diabetes with insulin dose decisions. The proposed architecture consists of multiple Echo State Networks to predict blood glucose levels combined with Model Predictive Controller for planning. Echo State Network is a version of recurrent neural networks which allows us to learn long term dependencies in the input of time series data in an online manner. Additionally, we address the quantification of uncertainty for a more robust control. Here, we used ensembles of Echo State Networks to capture model (epistemic) uncertainty. We evaluated the approach with the FDA-approved UVa/Padova Type 1 Diabetes simulator and compared the results against baseline algorithms such as Basal-Bolus controller and Deep Q-learning. The results suggest that the model-based reinforcement learning algorithm can perform equally or better than the baseline algorithms for the majority of virtual Type 1 Diabetes person profiles tested.

연구 동기 및 목표

• 모델 기반 강화학습을 활용해 제1형 당뇨병 환자에게 샘플 효율적이고 적응형 인슐린 투여 시스템을 개발한다.
• 혈액 포도당 예측에서 모델 불확실성을 정량화함으로써 의사결정 강인성을 향상시킨다.
• 기존의 기준이 되는 베이스라인(예: 베이스라인-볼루스 컨트롤러 및 딥 Q-네트워크(DQN))과 비교하여 제안된 MBRL 프레임워크의 성능을 평가한다.
• 다양한 환자 프로파일에서 불확실성 추정이 학습 효율성과 제어 성능에 미치는 영향을 평가한다.
• 학습된 모델에서 유사 가정 예측을 활용해 설명 가능한 인슐린 투여 권고를 가능하게 한다.

제안 방법

• 시스템은 시간에 따라 변화하는 입력(식사 및 인슐린 데이터 포함)을 기반으로 향후 혈액 포도당 수치를 예측하기 위해 다수의 에코 스테이트 네트워크(ESNs)를 사용한다.
• 예측의 지식적 불확실성 추정을 위해 ESN의 앙상블을 활용함으로써 모델 오차에 대한 강인성을 향상시킨다.
• MPC는 ESN 예측를 사용해 향후 궤적을 시뮬레이션함으로써 최적의 인슐린 투여량을 계획한다.
• MBRL 에이전트는 UVa/Padova 시뮬레이터와의 상호작용을 통해 온라인으로 학습하며, 목표 혈액 포도당 범위(70–180 mg/dL) 내에 머무른 시간에 따라 보상이 형성된다는 점을 고려해 보상 함수를 최적화한다.
• 학습 중에는 불확실성 인식 비용 계산을 사용하며, 예측 신뢰도를 반영하기 위해 다수의 ESN 예측 평균을 비용으로 평균화한다.
• 성능 평가 시 24시간 에피소드 환경을 사용하며, 목표 포도당 범위 내에서 머무른 시간으로 성능을 측정한다.

실험 결과

연구 질문

• RQ1 모델 기반 강화학습 접근법이 제1형 당뇨병 환자에서 기존의 인슐린 관리 전략과 비교해 더 나은 성능 또는 유사한 성능를 달성할 수 있는가?
• RQ2 ESN 앙상블를 통한 모델 불확실성 통합이 인슐린 투여에서 학습 속도와 제어 안정성에 어떤 영향을 미치는가?
• RQ3 MBRL 프레임워크가 연령, 활동 수준, 인슐린 감수성 등이 다른 다양한 가상 환자 프로파일에 대해 얼마나 일반화되는가?
• RQ4 불확실성 인식 MBRL 에이전트가 불확실성 미반영 버전과 비교해 초기 학습 단계와 장기 성능에서 어떻게 다를 수 있는가?
• RQ5 MBRL 시스템이 임상 의사결정 지원을 위해 설명 가능한 가상의 예측을 생성할 수 있는가?

주요 결과

• MBRL 에이전트는 대부분의 가상 환자 프로파일에서 목표 혈액 포도당 범위(70–180 mg/dL) 내 머무른 시간 비율이 가장 높게 나타나, 베이스라인-볼루스 컨트롤러 및 GRU-DQN 기준선을 모두 능가했다.
• 청소년#001의 경우 MBRL 에이전트는 100%의 시간을 목표 범위 내에서 유지했으며, 이는 베이스라인-볼루스 컨트롤러(85.8%)와 GRU-DQN(81.4%)를 크게 초월한 결과였다.
• 불확실성 인식 MBRL 변종은 비불확실성 변종보다 초기 학습 단계에서 더 일찍 24시간 에피소드 완료(종료 없음)에 도달했으며, 이는 초기 학습 단계에서 샘플 효율성이 향상되었음을 시사한다.
• 점점 안정화된 성능에서는 불확실성 인식 및 비불확실성 인식 MBRL 변종 간 유사한 결과를 보였으며, 성인#001의 경우 각각 56.8%와 56.7%의 목표 범위 내 머무름 비율을 기록했다.
• MBRL 프레임워크는 어린이(어린이#001: 59.6% 범위 내), 청소년(청소년#001: 100%), 성인(성인#002: 73.3%)을 포함한 다양한 프로파일에서 강인성을 입증했다.
• 불확실성 추정 메커니즘이 고변동성 또는 이해도가 낮은 환자 상태에서 초기 학습 성능을 크게 향상시켜 더 안전한 탐색을 이끌어내는 데 기여했다.