[논문 리뷰] Deep Reinforcement Learning for Closed-Loop Blood Glucose Control

Ian Fox, Joyce M. Lee외 2명|arXiv (Cornell University)|2020. 09. 18.

Diabetes Management and Research참고 문헌 40인용 수 28

한 줄 요약

이 논문은 환자별 행동 공간과 전이 학습을 활용하여 소수의 환자별 데이터로도 강건한 성능을 달성하는, 제1형 당뇨병에서 자동화된 폐쇄형 혈액 포도당 조절을 위한 딥 강화학습(DRL) 프레임워크를 제안한다. 30명의 시뮬레이션 환자에서 중앙값 혈당 위험을 8.34에서 4.24로 50% 감소시키고, 저혈당 시간을 4,610일에서 6일로 99.8% 감소시켰으며, 기준 PID 제어보다 뛰어난 성능을 보이며 예측 가능한 식사 일정에 효과적으로 적응한다.

ABSTRACT

People with type 1 diabetes (T1D) lack the ability to produce the insulin their bodies need. As a result, they must continually make decisions about how much insulin to self-administer to adequately control their blood glucose levels. Longitudinal data streams captured from wearables, like continuous glucose monitors, can help these individuals manage their health, but currently the majority of the decision burden remains on the user. To relieve this burden, researchers are working on closed-loop solutions that combine a continuous glucose monitor and an insulin pump with a control algorithm in an `artificial pancreas.' Such systems aim to estimate and deliver the appropriate amount of insulin. Here, we develop reinforcement learning (RL) techniques for automated blood glucose control. Through a series of experiments, we compare the performance of different deep RL approaches to non-RL approaches. We highlight the flexibility of RL approaches, demonstrating how they can adapt to new individuals with little additional data. On over 2.1 million hours of data from 30 simulated patients, our RL approach outperforms baseline control algorithms: leading to a decrease in median glycemic risk of nearly 50% from 8.34 to 4.24 and a decrease in total time hypoglycemic of 99.8%, from 4,610 days to 6. Moreover, these approaches are able to adapt to predictable meal times (decreasing average risk by an additional 24% as meals increase in predictability). This work demonstrates the potential of deep RL to help people with T1D manage their blood glucose levels without requiring expert knowledge. All of our code is publicly available, allowing for replication and extension.

연구 동기 및 목표

• 수동 인슐린 투여와 식사 알림에 의존도를 낮추기 위한 제1형 당뇨병에서 자동 혈액 포도당 조절을 위한 딥 강화학습(DRL) 접근법을 개발한다.
• 환자별 데이터가 제한된 문제를 해결하기 위해, 소수의 데이터로도 신속한 적응이 가능한 전이 학습 방법을 도입한다.
• 재해적 실패를 최소화하기 위해 보상 설계, 데이터 무작위성, 무작위 재시작 간 모델 선택을 통한 안정성 향상으로 DRL의 안전성과 안정성을 향상시킨다.
• 실제 환자 시뮬레이터를 활용해 비-RL 기준(예: PID)과의 성능을 평가한다.
• 복잡한 강화학습 임상 적용을 가능하게 하기 위해 복제, 확장, 보편적 적용이 가능한 공개 코드베이스를 제공한다.

제안 방법

• 개인별 안정성과 효능을 균형 있게 유지하기 위해 인슐린 투여를 정규화하는 환자별 행동 공간을 갖춘 딥 Q-네트워크(DQN).
• 다양한 환자 집단에서 사전 훈련된 모델로 정책 네트워크를 초기화하는 전이 학습 전략(RL-Trans)으로, 환자별 데이터 약 10 에포크(약 6개월)만으로도 신속한 적응이 가능하다.
• 저혈당과 고혈당을 처벌하면서 인슐린 사용에 대한 과도한 처벌을 피하는 안전성 강화 보상 함수로, 강건성 향상과 재해적 실패 감소에 기여한다.
• 과적합을 방지하고 낮은 실패율을 보이는 안정된 정책을 선택하기 위해 다수의 무작위 재시작 간 검증 데이터를 활용한 광범위한 모델 선택.
• 30명의 가상 환자로부터 210만 시간의 데이터를 확보한 대규모 시뮬레이터에서 장기적 롤아웃을 통해 실제 세계 성능을 평가한다.
• 장기 패턴에 과도하게 기반하지 않도록 최근 추세를 반영하기 위해 4시간의 상태 기록(혈액 포도당 및 인슐린 데이터)을 입력으로 사용한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 식사 알림 없이도 제1형 당뇨병에서 인간 수준의 혈액 포도당 조절을 달성할 수 있는가?
• RQ2 전이 학습은 혈당 조절을 위한 환자별 DRL 정책 훈련에서 샘플 효율성을 어떻게 향상시키는가?
• RQ3 안전이 중요한 의료 응용 분야에서 딥 강화학습의 안정성을 높이고 재해적 실패를 최소화하기 위해 어떤 기법이 유용한가?
• RQ4 DRL의 성능은 전통적인 제어 알고리즘(PID 등)과 비교해 혈당 위험과 저혈당 시간 감소 측면에서 어떻게 다를까?
• RQ5 DRL은 예측 가능한 식사 일정에 얼마나 잘 적응할 수 있으며, 이는 전체 성능에 어떤 영향을 미치는가?

주요 결과

• DRL 접근법은 중앙값 혈당 위험을 8.34에서 4.24로 낮혀 기준 PID 제어 대비 약 50% 향상된 성능을 보였다.
• 저혈당 상태에 머무른 총 시간은 4,610일에서 6일로 감소하여 99.8% 감소했으며, 강력한 안전성 성능을 입증했다.
• 환자별 데이터가 전혀 없을 경우 전이 학습 변형(RL-Trans)이 40%의 롤아웃에서 PID를 능가했고, 단지 10 에포크의 최적화만으로도 59.6%의 롤아웃에서 PID를 능가했다.
• RL-Trans의 재해적 실패율은 5 에포크 이후에도 0.5% 이하를 유지했으며, 비-전이 기반 기준(RL-Scratch)은 동일 조건에서 실패율이 17%를 초과했다.
• 식사 예측 가능성 증가에 따라 평균 위험은 추가로 24% 감소했으며, 이는 DRL이 식사 행동의 시간적 패턴을 효과적으로 활용함을 보여준다.
• 안전성 강화 보상 함수, 현실적인 데이터 무작위성, 무작위 재시작 간 모델 선택의 조합이 정책의 안정성 향상과 악성 성능 문제 감소에 크게 기여했다.