[논문 리뷰] Reinforcement Learning-Based Adaptive Insulin Advisor for Individuals with Type 1 Diabetes Patients under Multiple Daily Injections Therapy

Qingnan Sun, Marko V. Jankovic외 1명|arXiv (Cornell University)|2019. 06. 07.

Diabetes Management and Research참고 문헌 15인용 수 4

한 줄 요약

이 논문은 다량의 일일 주입(MDI)을 사용하는 제1형 당뇨병 환자를 대상으로, 자가 혈액포도당 모니터링(SMBG)과 인슐린 펜을 통합한 강화학습 기반의 적응형 인슐린 조언자 시스템을 제안한다. 시뮬레이션을 통해 검증된 DMMS.R 시뮬레이터를 사용한 이산자 시뮬레이션을 통해 기존의 MDI 치료에 비해 혈액포도당 목표 범위 내 머무르는 시간을 늘리고 저혈당 및 고혈당 사건을 줄이며 혈액포도당 조절을 향상시킨다.

ABSTRACT

The existing adaptive basal-bolus advisor (ABBA) was further developed to benefit patients under insulin therapy with multiple daily injections (MDI). Three different in silico experiments were conducted with the DMMS.R simulator to validate the approach of combined use of self-monitoring of blood glucose (SMBG) and insulin injection devices, e.g. insulin pen, as are used by the majority of type 1 diabetes patients under insulin therapy. The proposed approach outperforms the conventional method, as it increases the time spent within the target range and simultaneously reduces the risks of hyperglycaemic and hypoglycaemic events.

연구 동기 및 목표

• 다양한 일일 주입(MDI)과 자가 혈액포도당 모니터링(SMBG)을 사용하는 제1형 당뇨병 환자를 대상으로 적응형 인슐린 조언자를 개발하기.
• 고혈당 및 저혈당 범위에 머무르는 시간을 줄여 혈액포도당 조절을 향상시키기.
• DMMS.R 시뮬레이터를 사용한 이산자 시뮬레이션을 통해 제안된 강화학습 기반 인슐린 조언자를 검증하기.
• 혈액포도당을 목표 범위 내에 유지하는 데 있어 전통적인 MDI 치료에 비해 우월함을 입증하기.

제안 방법

• 시스템은 실시간 SMBG 데이터와 인슐린 펜 사용 정보를 기반으로 인슐린 복용량을 추천하는 강화학습(RL) 에이전트를 사용한다.
• RL 에이전트는 시뮬레이션 환경 내에서 시행착오를 통해 최적의 인슐린 복용 전략을 학습한다.
• DMMS.R 시뮬레이터는 제1형 당뇨병 환자의 인슐린 및 식사 섭취에 대한 생리적 반응을 모델링한다.
• 시스템은 인슐린 펜에서 온라인으로 수집된 SMBG 독서 및 인슐린 주입 데이터를 통합하여 실시간 복용량 결정을 지원한다.
• 에이전트는 목표 포도당 범위 내 머무르는 시간을 극대화하고 저혈당 및 고혈당 사건을 최소화하도록 훈련된다.
• 다양한 식사 및 인슐린 복용 조건에서 세 가지의 이산자 실험을 통해 접근법을 검증한다.

실험 결과

연구 질문

• RQ1 강화학습 기반 인슐린 조언자는 제1형 당뇨병 환자에서 MDI 치료 시 혈액포도당 조절을 향상시킬 수 있는가?
• RQ2 RL 기반 조언자와 전통적인 MDI 치료 간에 목표 범위 내 머무르는 시간과 저혈당/고혈당 위험 측면에서 어떤 차이가 있는가?
• RQ3 SMBG와 인슐린 펜 데이터의 통합은 MDI 환자에서 인슐린 복용 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 RL 에이전트는 다양한 식사 및 인슐린 복용 볼러스 시나리오에서 시뮬레이션 환경에서 안정적인 성능을 유지하는가?

주요 결과

• 제안된 RL 기반 인슐린 조언자는 기존의 MDI 치료에 비해 목표 포도당 범위 내 머무르는 시간을 유의미하게 증가시켰다.
• 시스템은 저혈당 사건의 빈도와 지속 시간을 줄여 환자의 안전성을 향상시켰다.
• 시스템은 고혈당 발작의 빈도 또한 감소시켜 식후 포도당 조절이 향상됨을 나타냈다.
• 세 가지 이산자 실험을 통해 다양한 식사 및 인슐린 복용 볼러스 조건에서 일관된 성능 향상이 확인되었다.