[논문 리뷰] Expert-Supervised Reinforcement Learning for Offline Policy Learning and Evaluation

Aaron Sonabend-W, Junwei Lu외 3명|arXiv (Cornell University)|2020. 06. 23.

Reinforcement Learning in Robotics참고 문헌 24인용 수 9

한 줄 요약

이 논문은 전문가 감독 강화학습(ESRL)을 제안한다. ESRL은 가설 검증을 통해 데이터가 이를 뒷받침할 경우에만 전문가 행동에서 안전하게 이탈할 수 있도록 보장하는 베이지안 오프라인 RL 프레임워크이다. 사후 분포와 오프정책가치함수 추정을 통해 불확실성 인식이 가능하고 해석 가능한 정책을 제공하며, 위험 회피 성향과 데이터 품질에 영향을 받지 않는 리그레트 한계를 달성한다.

ABSTRACT

Offline Reinforcement Learning (RL) is a promising approach for learning optimal policies in environments where direct exploration is expensive or unfeasible. However, the adoption of such policies in practice is often challenging, as they are hard to interpret within the application context, and lack measures of uncertainty for the learned policy value and its decisions. To overcome these issues, we propose an Expert-Supervised RL (ESRL) framework which uses uncertainty quantification for offline policy learning. In particular, we have three contributions: 1) the method can learn safe and optimal policies through hypothesis testing, 2) ESRL allows for different levels of risk averse implementations tailored to the application context, and finally, 3) we propose a way to interpret ESRL's policy at every state through posterior distributions, and use this framework to compute off-policy value function posteriors. We provide theoretical guarantees for our estimators and regret bounds consistent with Posterior Sampling for RL (PSRL). Sample efficiency of ESRL is independent of the chosen risk aversion threshold and quality of the behavior policy.

연구 동기 및 목표

• 고위험 응용 분야에서 오프라인 강화학습의 해석 가능성과 불확실성 정량화 부족 문제를 해결한다.
• 직접 환경 상호작용이 불가능하거나 도덕적으로 문제가 될 경우 정책 평가 및 안전한 탐색의 과제를 극복한다.
• 데이터 신뢰도에 기반해 전문가 행동에서의 이탈 수준을 사용자 정의할 수 있도록 하여 위험 회피 정책 학습을 가능하게 한다.
• 불확실성을 반영하고 임상 의사결정을 지원하는 사후 기반의 해석 가능한 정책 결정을 제공한다.
• 일致하고 편향이 없는 추정을 보장하는 이론적으로 탄탄한 오프정책가치함수 추정 방법을 개발한다.

제안 방법

• 통계적 증거에 기반해 전문가 정책에서 이탈할지 여부를 결정하기 위해 베이지안 강화학습과 가설 검증을 통합한다.
• Q-값에 대한 사후 분포를 사용해 불확실성을 정량화하고 정책 행동을 위한 신뢰구간을 계산한다.
• 대체 행동이 전문가 행동보다 나을 것이라는 귀무가설을 설정하고, 사후 표본을 사용해 검증한다.
• 가설 검증의 p-값에 기반해 전문가 정책과 학습된 최적 행동 중 하나를 선택하는 정책을 구성한다.
• 사후 예측 분포를 사용해 오프정책가치함수 사후분포를 계산함으로써, 어떤 정책에 대해서도 불확실성 인식 평가가 가능하게 한다.
• 위험 회피 성향과 행동 정책 품질에 영향을 받지 않는 이론적 보장을 확보하기 위해 $\tilde{\mathcal{O}}(\tau S\sqrt{AT})$의 베이지안 리그레트 한계를 확보한다.

실험 결과

연구 질문

• RQ1 가설 검증이 오프라인 RL에서 전문가 행동에서의 이탈을 안전하고 신뢰성 있게 결정하는 데 효과적으로 사용될 수 있는가?
• RQ2 가치함수 추정의 불확실성은 어떻게 정량화하고, 이를 정책의 해석 가능성과 의사결정 향상에 어떻게 활용할 수 있는가?
• RQ3 이 방법의 성능은 행동 정책의 품질이나 데이터 커버리지 수준에 얼마나 의존하는가?
• RQ4 특히 낮은 데이터 환경에서 Q-값에 대한 사후 분포가 의미 있는 해석 가능한 인사이트를 제공할 수 있는가?
• RQ5 안전성, 일반화 능력, 가치함수 추정 정확도 측면에서 이전 최고 수준의 오프라인 RL 기준과 비교해 본다면, 제안된 방법은 어떻게 성능을 내는가?

주요 결과

• ESRL은 위험 회피 임계값과 행동 정책 품질에 영향을 받지 않는 $\tilde{\mathcal{O}}(\tau S\sqrt{AT})$의 베이지안 리그레트 한계를 달성한다.
• 낮은 데이터 상태에서는 Q-값에 대한 사후 분포의 분산이 크며, 가설 검증이 귀무가설을 기각하지 못해 정책이 전문가 행동을 유지한다.
• 높은 데이터 상태에서는 좁은 사후 분포로 인해 가설 검증이 더 자주 귀무가설을 기각하며, 데이터가 이를 뒷받침할 경우 안전하게 전문가 행동에서 이탈할 수 있다.
• 사후 분포와 신뢰구간을 통해 정책 결정이 해석 가능해지며, 임상의가 위험과 신뢰도를 평가할 수 있다.
• 세프시스 치료 벤치마크에서 ESRL은 DQN, BCQ, DQNE, BC보다 안전성과 가치함수 추정에서 뛰어난 성능을 보이며, 특히 데이터 부족에 의한 일반화 한계가 존재할 경우 두드러진다.
• 일부 상태 군집에서는 의료진의 정책에서의 이탈이 심각하게 해로울 수 있으며, ESRL은 높은 불확실성으로 인해 이러한 이탈을 피함으로써 강건성을 입증한다.