[논문 리뷰] Cohesion-based Online Actor-Critic Reinforcement Learning for mHealth Intervention

Feiyun Zhu, Peng Liao외 3명|arXiv (Cornell University)|2017. 03. 25.

Impact of Technology on Adolescents참고 문헌 8인용 수 4

한 줄 요약

이 논문은 데이터가 부족한 환경에서 정책 학습을 향상시키기 위해 사용자 간 네트워크 공명성을 활용하는 혁신적인 코hesion 기반 온라인 액터-크리틱 강화학습 프레임워크를 제안한다. 따뜻한 시작 궤적에서 사용자 유사성 네트워크를 학습하고, 가치 함수와 정책 함수에 ℓ₂ 제약 조건을 적용하여 분산을 크게 감소시키며, 여러 mHealth 벤치마크에서 개별 정책 학습보다 뛰어난 성능을 보인다.

ABSTRACT

In the wake of the vast population of smart device users worldwide, mobile health (mHealth) technologies are hopeful to generate positive and wide influence on people's health. They are able to provide flexible, affordable and portable health guides to device users. Current online decision-making methods for mHealth assume that the users are completely heterogeneous. They share no information among users and learn a separate policy for each user. However, data for each user is very limited in size to support the separate online learning, leading to unstable policies that contain lots of variances. Besides, we find the truth that a user may be similar with some, but not all, users, and connected users tend to have similar behaviors. In this paper, we propose a network cohesion constrained (actor-critic) Reinforcement Learning (RL) method for mHealth. The goal is to explore how to share information among similar users to better convert the limited user information into sharper learned policies. To the best of our knowledge, this is the first online actor-critic RL for mHealth and first network cohesion constrained (actor-critic) RL method in all applications. The network cohesion is important to derive effective policies. We come up with a novel method to learn the network by using the warm start trajectory, which directly reflects the users' property. The optimization of our model is difficult and very different from the general supervised learning due to the indirect observation of values. As a contribution, we propose two algorithms for the proposed online RLs. Apart from mHealth, the proposed methods can be easily applied or adapted to other health-related tasks. Extensive experiment results on the HeartSteps dataset demonstrates that in a variety of parameter settings, the proposed two methods obtain obvious improvements over the state-of-the-art methods.

연구 동기 및 목표

• 제한된 사용자별 데이터로 인해 mHealth에서 개별 정책 학습이 불안정해지는 문제를 해결하기 위해.
• 유사 행동을 보이는 사용자 간의 정보 공유를 가능하게 하기 위해 사용자 유사성 네트워크를 모델링하기 위해.
• 사전에 정의된 네트워크를 가정하지 않고, 데이터에서 직접 코어션 네트워크를 학습하는 온라인 액터-크리틱 RL 프레임워크를 개발하기 위해.
• 네트워크 구조를 통해 가치 함수와 정책 함수에 제약을 가하여 과도한 편향을 유도하지 않으면서도 정책 학습의 분산을 줄이기 위해.
• 실제 mHealth 데이터에서 최신 기술보다 뛰어난 성능을 보여주기 위해.

제안 방법

• 유사 행동을 보이는 사용자 간에 정보를 공유하는 네트워크 코어션 제약이 가해진 액터-크리틱 RL 프레임워크를 제안한다.
• 사전에 정의된 사회적 네트워크에 의존하지 않기 위해, 따뜻한 시작 궤적(WST)을 사용하여 사용자 네트워크 구조를 학습한다.
• 그래프 라플라시안을 사용하여 가치 함수에 ℓ₂ 정규화를 적용하고, 코어션을 강제하는 투영 단계를 구현한다.
• 매개변수화된 ℓ₂ 페널티를 사용하여 정책 함수에 고정점 업데이트를 적용하고, 코어션 제약 조건을 적용한다.
• 두 가지 알고리즘인 Cohesion-RL#1과 Cohesion-RL#2를 도입하며, 가치 및 정책 업데이트 중 ℓ₂ 제약 조건 적용 방식에서 차이를 둔다.
• 간접적 보상 신호를 사용하여 가치 함수, 정책, 코어션 네트워크를 함께 반복적으로 개선하는 방식으로 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 유사한 사용자 간의 정보 공유가 데이터가 부족한 mHealth 환경에서 정책 학습을 향상시킬 수 있는가?
• RQ2 외부 사회적 네트워크 가정에 의존하지 않고 사용자 행동 데이터에서 직접 사용자 네트워크를 학습할 수 있는가?
• RQ3 다양한 코어션 제약 강도가 정책 성능 및 안정성에 미치는 영향은 무엇인가?
• RQ4 따뜻한 시작 궤적의 길이가 네트워크 코어션 학습과 전체 정책 품질에 미치는 영향는 어떠한가?
• RQ5 코어션 기반 RL이 온라인 mHealth 간병 개입 과제에서 개별 정책 학습보다 뛰어나게 작용할 수 있는가?

주요 결과

• Cohesion-RL#2는 모든 파라미터 설정에서 Cohesion-RL#1 및 Separate-RL을 일관되게 능가하며, 뛰어난 안정성과 성능을 보였다.
• 따뜻한 시작 궤적이 짧을 경우(T₀ = 5), Cohesion-RL 방법은 평균 단계 수를 261.67에서 52.09로 감소시켜 네트워크 코어션의 강력한 이점을 입증했다.
• T₀를 5에서 20으로 늘일 경우, Separate-RL의 성능이 210.51단계 향상되어 初기 데이터 품질의 핵심적 역할을 확인했다.
• 제한된 데이터 조건에서도 성능 향상이 뚜렷하여, 희소한 사용자 데이터를 가진 실세계 mHealth 시나리오에서 효과적임을 입증했다.
• μ₁ ∈ [0.001, 10]의 네트워크 코어션 제약 조건은 베이스라인 대비 성능 향상을 이끌었으며, μ₁ = 1.0일 때 최적의 결과를 얻었다.
• 제안된 방법은 파라미터 변화에 뛰어난 내성성을 보이며, 다양한 할인 인자(γ)에서도 높은 성능을 유지한다.