[논문 리뷰] Off-Policy Estimation of Long-Term Average Outcomes With Applications to Mobile Health

Peng Liao, Predrag Klasnja외 1명|arXiv (Cornell University)|2019. 12. 30.

Mobile Health and mHealth Applications참고 문헌 26인용 수 9

한 줄 요약

이 논문은 다른 행동 정책 하에서 수집된 역사적 데이터를 사용하여 모바일 헬스(mHealth) 간 interventions의 장기 평균 결과를 비정책(Off-policy) 추정하는 방법을 제안한다. 마이크로 랜덤라이제이션 시험(MRT)에서 수집된 데이터를 활용하여, 위치 기반 또는 항상 치료하는 정책과 같은 사전 정의된 mHealth 정책의 성능을 평가하기 위해 신뢰구간을 포함한 이중으로 강건한 추정기(doubly robust estimator)를 도입하며, 위치 기반 정책이 '무엇도 하지 않는' 정책에 비해 30분 간의 보행 수를 약 22% 향상시킬 수 있음을 입증한다.

ABSTRACT

Due to the recent advancements in wearables and sensing technology, health scientists are increasingly developing mobile health (mHealth) interventions. In mHealth interventions, mobile devices are used to deliver treatment to individuals as they go about their daily lives. These treatments are generally designed to impact a near time, proximal outcome such as stress or physical activity. The mHealth intervention policies, often called just-in-time adaptive interventions, are decision rules that map an individual’s current state (e.g., individual’s past behaviors as well as current observations of time, location, social activity, stress, and urges to smoke) to a particular treatment at each of many time points. The vast majority of current mHealth interventions deploy expert-derived policies. In this article, we provide an approach for conducting inference about the performance of one or more such policies using historical data collected under a possibly different policy. Our measure of performance is the average of proximal outcomes over a long time period should the particular mHealth policy be followed. We provide an estimator as well as confidence intervals. This work is motivated by HeartSteps, an mHealth physical activity intervention. Supplementary materials for this article are available online.

연구 동기 및 목표

• 다른 행동 정책 하에서 수집된 데이터를 사용하여 mHealth 정책의 장기 평균 근접 결과에 대한 추론을 가능하게 한다.
• 전문가가 도출한 mHealth 간 interventions 정책에 대한 데이터 기반 평가 부족 문제를 해결한다.
• 알려진 랜덤화 확률을 가진 순차적 의사결정 환경에서 정책 평가를 위한 융통성 있고 통계적으로 타당한 방법을 개발한다.
• 여러 후보 정책 간 성능 비교를 가능하게 하여 데이터 기반 실시간 적응형 간 interventions의 설계를 지원한다.
• 마이크로 랜덤라이제이션 시험(MRTs)의 유용성을 즉각적인 인과적 추론을 넘어서 장기 정책 평가로 확장한다.

제안 방법

• mHealth 간 interventions의 순차적 의사결정을 모델링하기 위해 마코프 결정 과정(MDP) 프레임워크를 사용한다.
• 장기 평균 보상에 대한 이중으로 강건한 추정기(doubly robust estimator)를 적용하며, 결과 회귀와 역확률가중법을 결합한다.
• 재생 핵 힐버트 공간(RKHS)과 라디얼 기저 함수 커널을 사용하여 상대적 가치 함수와 Q-함수를 모델링한다.
• 추정기의 渐近 정규성을 도출하여 정책 성능에 대한 타당한 신뢰구간을 구성한다.
• RKHS 기반 추정에서 정규화 파라미터를 선택하기 위한 데이터 기반 튜닝 절차를 사용한다.
• 반모수적 프레임워크에서 벨먼 방정식을 해결하여 대상 정책 하에서의 장기 평균 결과를 추정한다.

실험 결과

연구 질문

• RQ1 다른 행동 정책 하에서 수집된 데이터를 사용하여 대상 mHealth 정책의 장기 평균 근접 결과를 정확하게 추정할 수 있는가?
• RQ2 행동 정책이 알려져 있고 스토케스틱한 경우, mHealth 정책 성능에 대한 타당한 신뢰구간을 어떻게 구성할 수 있는가?
• RQ3 장기 신체 활동 결과 측면에서 위치 기반 치료 정책이 '무엇도 하지 않는' 정책 또는 '항상 치료' 정책보다 우월한가?
• RQ4 모델 잘못 설정 또는 작은 표본 크기 하에서 제안된 방법의 성능은 어떠한가?
• RQ5 이 방법은 이진 근접 결과 또는 비정상적인 환경으로 확장될 수 있는가?

주요 결과

• 위치 기반 정책(π_location) 하에서 추정된 평균 30분 보행 수는 3.155이며, 95% 신뢰구간 [2.893, 3.417]으로, '무엇도 하지 않는' 정책에 비해 통계적으로 유의미한 향상이 있음을 시사한다.
• '무엇도 하지 않는' 정책의 경우 추정된 평균 보상은 2.962였고, (π_location - π_nothing)의 95% 신뢰구간은 [-0.016, 0.402]였으며, 이는 보행 수가 약 22% 증가할 가능성이 있음을 나타낸다.
• '항상 치료' 정책의 경우 추정된 평균 보상은 3.127였고, (π_location - π_always)의 95% 신뢰구간은 [-0.161, 0.217]였으며, 이는 두 정책 간 유의미한 차이가 없음을 시사한다.
• 시뮬레이션에서 본 방법은 적절한 커버리지 확률을 확보하여 제안된 신뢰구간의 타당성을 검증하였다.
• RKHS 정규화 파라미터에 대한 튜닝 절차는 유한 표본에서 편향과 분산을 효과적으로 균형 잡는 데 성공하였다.
• n=37인 HeartSteps 데이터를 활용한 사례 연구는 장기 수평 결과를 가진 실세계 mHealth 데이터에 본 방법을 적용할 수 있음을 입증하였다.