[논문 리뷰] Rapidly Personalizing Mobile Health Treatment Policies with Limited Data

Sabina Tomkins, Peng Liao외 3명|arXiv (Cornell University)|2020. 02. 23.

Mobile Health and mHealth Applications참고 문헌 33인용 수 4

한 줄 요약

이 논문은 제한적이고 노이즈가 많은 데이터를 가진 모바일 헬스(mHealth) 환경에서 개인화를 가속화하기 위해 계층적 베이지안 가우시안 프로세스 모델을 사용해 사용자 간 데이터를 지능적으로 풀링하는 Thompson Sampling 기반 강화학습 알고리즘인 IntelligentPooling을 소개한다. 시뮬레이션에서 최신 기술 대비 26% 낮은 손실을 기록했으며, 소수의 사용자 데이터로도 실시간 임상 시험에서 실질적인 개인화를 구현했다.

ABSTRACT

In mobile health (mHealth), reinforcement learning algorithms that adapt to one's context without learning personalized policies might fail to distinguish between the needs of individuals. Yet the high amount of noise due to the in situ delivery of mHealth interventions can cripple the ability of an algorithm to learn when given access to only a single user's data, making personalization challenging. We present IntelligentPooling, which learns personalized policies via an adaptive, principled use of other users' data. We show that IntelligentPooling achieves an average of 26% lower regret than state-of-the-art across all generative models. Additionally, we inspect the behavior of this approach in a live clinical trial, demonstrating its ability to learn from even a small group of users.

연구 동기 및 목표

• 사용자당 데이터가 부족하고 노이즈가 많은 상황에서 효과적인 개인화된 치료 정책을 학습하는 데 도전하는 것.
• mHealth를 위한 강화학습에서 개인화(고분산)와 풀링(잠재적 편향) 사이의 균형을 맞추는 것.
• 관찰된 치료 효과 분산에 따라 개인화 수준을 동적으로 조정할 수 있는 방법을 개발하는 것.
• 실제 mHealth 데이터에서 유도된 시뮬레이션 환경과 실시간 임상 시험 양쪽에서 접근법을 검증하는 것.

제안 방법

• IntelligentPooling은 혼합효과 가우시안 프로세스(GP) 모델을 사용하여 사용자 간 치료 효과를 동시에 모델링하며, 인구 수준과 개인 수준의 랜덤 효과를 포함한다.
• 알고리즘은 계층적 사전분포의 초모수를 갱신하기 위해 경험베이지안(empirical Bayes)을 활용하여 관찰된 데이터에 따라 진화하는 적응적 풀링을 가능하게 한다.
• Thompson Sampling을 사용해 행동을 선택하며, GP 모델의 사후 표본이 문맥 특징에 기반해 치료 결정을 내리는 데 사용된다.
• 모델은 개인별 랜덤 효과를 절편과 치료 효과 항목에 적용하여 개별 정책 학습이 가능하도록 한다.
• 활동 수준, 위치, 참여도, 복용량과 같은 특징을 문맥으로 사용하여 치료 결정을 지원한다.
• 모든 가용 데이터를 각 결정 시점까지 포함하여 실시간 적응이 가능하도록, 이전 및 동시 사용자의 데이터를 모두 학습에 활용한다.

실험 결과

연구 질문

• RQ1 개인 데이터가 제한적이고 노이즈가 많은 상황에서 강화학습 알고리즘이 mHealth에서 더 빠르고 정확한 개인화를 달성할 수 있는가?
• RQ2 여러 사용자로부터의 데이터를 원칙적으로 어떻게 풀링할 수 있을까? 이는 학습 속도를 높이되 개인화 정확도를 희생시키지 않기 위함이다.
• RQ3 관찰된 치료 효과 분산에 따라 알고리즘이 사용자 간 및 사용자 내에서 개인화 수준을 얼마나 잘 조정하는가?
• RQ4 손실과 정책 품질 측면에서, 제안된 방법이 완전히 개인화된 모델과 완전히 풀링된 기준 모델을 모두 능가할 수 있는가?
• RQ5 소수의 사용자 데이터로도 실생활 실시간 임상 시험 환경에서 알고리즘이 타당하고 효과적인가?

주요 결과

• 시뮬레이션에서 다양한 생성 모델 전반에 걸쳐 최신 기술 대비 평균 26% 낮은 손실을 기록했다.
• 시간이 지남에 따라 개인화 수준이 높아졌으며, IntelligentPooling과 풀링 기반 기준 모델 간의 치료 확률 차이가 커졌다 (피어슨 상관계수 r = .56, p < .1).
• 사용자 B의 치료 효과 계수 사후 평균은 양의 효과를 보였고, 사용자 A는 유의미한 이점이 없음을 나타내어 효과적인 개인화가 이루어졌음을 입증했다.
• 사용자별 모델 대비 IntelligentPooling의 사후 분포가 사전 분포에서 더 빨리 분리되는 것으로 나타나, 학습 속도가 빠르게 진행됨을 보였다.
• 실시간 임상 시험에서 IntelligentPooling은 소수의 사용자 데이터만으로도 개인별 반응에 적절히 적응하여 실현 가능성을 입증했다.
• 관찰된 치료 효과 분산에 따라 데이터 공유 정도를 조정함으로써 개인화와 풀링 사이의 균형을 효과적으로 유지했다.