[논문 리뷰] Bootstrapping Fitted Q-Evaluation for Off-Policy Inference

Botao Hao, Xiang Ji외 4명|arXiv (Cornell University)|2021. 02. 06.

Reinforcement Learning in Robotics참고 문헌 17인용 수 10

한 줄 요약

이 논문은 오프-폴리시 추론을 위한 부트스트래핑 피팅 Q-평가(FQE) 방법을 제안하며, 점점 더 일관된 정책 평가 오차 분포, 신뢰구간, 분산 및 상관관계 추정을 가능하게 한다. 이는 이론적 일관성과 효율성을 확립하고, 런타임을 한 단계 낮추면서도 정확도를 유지하는 부분 샘플링 변형을 도입한다.

ABSTRACT

Bootstrapping provides a flexible and effective approach for assessing the quality of batch reinforcement learning, yet its theoretical property is less understood. In this paper, we study the use of bootstrapping in off-policy evaluation (OPE), and in particular, we focus on the fitted Q-evaluation (FQE) that is known to be minimax-optimal in the tabular and linear-model cases. We propose a bootstrapping FQE method for inferring the distribution of the policy evaluation error and show that this method is asymptotically efficient and distributionally consistent for off-policy statistical inference. To overcome the computation limit of bootstrapping, we further adapt a subsampling procedure that improves the runtime by an order of magnitude. We numerically evaluate the bootrapping method in classical RL environments for confidence interval estimation, estimating the variance of off-policy evaluator, and estimating the correlation between multiple off-policy evaluators.

연구 동기 및 목표

• 점 추정을 넘어서 신뢰할 수 있는 통계적 추론을 오프-폴리시 평가(OPE)에서 가능하게 하기 위해.
• 부트스트래핑 FQE가 점점 더 일관되고 효율적인 오차 분포 추정을 위해 이론적으로 정당화하기 위해.
• 부트스트래핑 과정에서 발생하는 계산적 병목 현상을 해결하기 위해 부분 샘플링 절차를 도입하기 위해.
• 의존적인 에피소드 데이터에 대해 단일 전이 수준의 부트스트래핑보다 에피소드 수준의 부트스트래핑이 필요한 이유를 밝히기 위해.
• 표본, 선형, 딥 강화학습 환경에서의 신뢰구간 추정, 분산 및 상관관계 추정에 대해 방법을 평가하기 위해.

제안 방법

• 전체 에피소드를 재표본 추출하여 FQE 정책 값 추정기의 표본 분포를 추정하는 부트스트래핑 FQE 방법을 제안한다.
• 이론적 분석을 통해 부트스트래핑된 FQE 오차 분포는 점점 더 일관되며, 크래머-라오 하한선과 일치함을 보여, 점점 더 효율적임을 의미한다.
• 각 부트스트래핑 반복에서 일부 에피소드만을 샘플링하여 계산 비용을 한 단계 낮추는 부분 샘플링 부트스트래핑 절차를 도입한다.
• 시간적 의존성 구조를 유지하고 일관되지 않은 오차 추정을 방지하기 위해 개별 전이 수준의 재표본 추출이 아닌 에피소드 수준의 재표본 추출을 사용한다.
• 표본, 연속 제어, 헬스케어 시뮬레이션 환경에서 성능을 검증하기 위해 선형 함수 근사와 신경망을 활용한다.
• 커버리지 확률 평가를 위해 진정한 정책 값을 계산하기 위해 10,000개의 몬테카를로 롤아웃을 사용한다.

실험 결과

연구 질문

• RQ1 부트스트래핑 FQE는 정책 평가 오차 분포를 점점 더 일관되게 추정할 수 있는가?
• RQ2 제안된 방법은 크래머-라오 하한선을 충족하여 점점 더 효율적인가?
• RQ3 부분 샘플링은 정확도를 손상시키지 않고 계산 비용을 한 단계 낮출 수 있는가?
• RQ4 의존적인 에피소드 데이터에 대해 전이 수준의 부트스트래핑과 비교해 에피소드 수준의 부트스트래핑이 필요한 이유는 무엇인가?
• RQ5 다양한 오프-폴리시 평가기에서 신뢰구간을 조밀하게 구성하고 분산 및 상관관계 추정에 얼마나 효과적인가?

주요 결과

• 부트스트래핑 FQE는 FQE 정책 평가 오차 분포를 점점 더 일관되게 추정하며, 분포 일관성에 대한 이론적 보장을 제공한다.
• FQE의 점점 더 일관된 분산은 크래머-라오 하한선과 일치하며, 선형 함수 근사 하에서 FQE가 점점 더 효율적임을 확인한다.
• 부분 샘플링 부트스트래핑은 런타임을 한 단계 낮추면서도 신뢰구간 커버리지 및 분산 추정의 높은 정확도를 유지한다.
• 에피소드 수준의 부트스트래핑은 일관된 오차 분포 추정을 가능하게 하며, 전이 수준의 부트스트래핑은 의존성으로 인해 일관되지 않은 분산 및 신뢰구간 추정을 초래한다.
• 클리프 워킹, 마운틴카, 택시 환경을 포함한 다양한 환경에서 부트스트래핑 신뢰구간의 경험적 커버리지 확률은 명목 수준(예: 90%)에 가깝다.
• 유한한 표본 크기 조건에서도 부트스트래핑된 FQE로부터 유도된 분산 및 상관관계 추정은 낮은 편향과 조밀한 구간을 보이며 정확하다.