[논문 리뷰] A Batch, Off-Policy, Actor-Critic Algorithm for Optimizing the Average Reward

Susan A. Murphy, Yanzhen Deng외 4명|arXiv (Cornell University)|2016. 07. 18.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 17

한 줄 요약

이 논문은 마르코프 결정 과정에서 평균 보상을 최대화하는 최적의 확률적 치료 정책을 학습하기 위해 배치(batch), 비정책(off-policy) 액터-크리틱 알고리즘을 제안한다. 특히 모바일 헬스 응용 분야에 초점이 맞춰져 있다. 이 방법은 다수의 개인으로부터 수집된 비정책 데이터를 사용하며, 기저 함수를 통해 미분 가치 함수를 추정하고, 정책 기울기 방법을 활용해 파rametric 정책을 최적화한다. 실제 흡연 및 음주 감소 연구에서 개선된 치료 제공을 달성하였다.

ABSTRACT

We develop an off-policy actor-critic algorithm for learning an optimal policy from a training set composed of data from multiple individuals. This algorithm is developed with a view towards its use in mobile health.

연구 동기 및 목표

• 다수의 개인에서 수집된 집계된 이질적 데이터로부터 최적의 치료 정책을 학습하기 위한 비정책, 배치 액터-크리틱 알고리즘을 개발한다.
• 장기적인 평균 보상을 최대화하는 정책을 학습함으로써 모바일 헬스 분야에서 개인 맞춤형, 동적 간섭을 가능하게 한다.
• 사용자 변동성과 치료 부담을 고려한 확률적 정책을 학습함으로써 실질적인 행동 건강 분야의 구현을 지원한다.
• 저차원 파arametric 정책과 해석 가능한 특징을 사용함으로써 도메인 전문가와의 통합을 촉진한다.
• 온라인 상호작용이 필요 없이 관찰 데이터에서 정책을 학습하기 위한 확장성 있고 강건한 방법을 제공한다.

제안 방법

• 알고리즘은 온라인 상호작용이 필요 없이, 행동 정책 하에 수집된 궤적 데이터 세트에서 배치 설정으로 학습한다.
• 크리틱 구성요소는 기저 함수 근사법을 통해 상수를 제외한 벨먼 방정식을 풀어 차분 가치 함수 $ V^\pi(s) $ 를 추정한다.
• 액터 구성요소는 특징 벡터 $ \phi(s) $ 에 대한 로지스틱 링크 함수를 사용해 확률적 정책 $ \pi_\theta(a|s) $ 를 파arameter화하며, 파arameter는 $ \theta $ 이다.
• 정책 기울기 방법을 사용해 평균 보상 $ \eta^\pi $ 를 최대화함으로써 정책 파arameter를 업데이트하며, 중요도 샘플링을 통해 비정책 데이터를 활용한다.
• 비선형 상태 의존성을 포착하기 위해 MARS(다변량 적응형 회귀 스퍼인) 기저 함수를 사용해 차분 가치 함수를 근사한다.
• 알고리즘은 다수의 개인으로부터 독립적인 궤적 데이터 세트를 대상으로 일련의 배치 업데이트를 수행하여 학습한다. 각 개인은 고정된 행동 정책 하에 MDP를 따르고 있다.

실험 결과

연구 질문

• RQ1 관찰 데이터에서 다수의 개인으로부터 수집된 자료로부터 비정책, 배치 액터-크리틱 알고리즘이 평균 보상을 최대화하는 치료 정책을 효과적으로 학습할 수 있는가?
• RQ2 이러한 방법은 복잡하고 시간에 따라 변하는 상태 특징을 가진 실제 모바일 헬스 데이터에 얼마나 잘 일반화되는가?
• RQ3 자기 통제 요구 수준과 치료 부담의 대체 지표를 통합할 경우, 실시간 적응형 간섭의 성능과 수용도가 향상되는가?
• RQ4 값 함수 근사의 노이즈에 대해 알고리즘이 얼마나 강건한가?
• RQ5 도메인 전문가가 행동 건강 분야에서 정책을 해석하고 검증할 수 있는가?

주요 결과

• 자기 통제 요구 수준의 증가 없이 치료 부담이 없는 학생에게는 치료를 75%의 확률로 권고하여 높은 반응성을 보였다.
• 자기 통제 요구 수준과 치료 부담이 증가한 학생에게는 치료 권고 확률이 51%로 감소하여 수용도 감소를 반영했다.
• 알고리즘은 치료 제공에서 95%의 준수 기준을 달성하여, 이용 가능한 시간대에서 95%의 권고 시점에서 치료 확률이 0.05에서 0.95 사이에 유지되었다.
• 값 함수 근사에서의 노이즈에 대해 알고리즘이 강건함을 보이며, 자동 기저 함수 선택의 잠재력을 시사했다.
• 정책 계수는 해석 가능했으며, 델타컨트롤(−0.42)에 음수 가중치와 버디언(0.63)에 양수 가중치를 가지며 행동 이론과 일치했다.
• 실제 스마트폰 연구 데이터에서 정책을 성공적으로 학습하여, 개인 맞춤형, 적응형 간섭을 통해 과도한 음주 및 흡연 감소에 잠재력을 보였다.