[논문 리뷰] Bootstrapping Statistical Inference for Off-Policy Evaluation.

Botao Hao, Xiang Ji외 4명|arXiv (Cornell University)|2021. 02. 06.

Reinforcement Learning in Robotics참고 문헌 43인용 수 6

한 줄 요약

이 논문은 오프-폴리시 평가를 위한 부트스트래핑 FQE 방법을 제안하며, 정책 평가 오차의 渐近적 효율성과 분포 일致성 있는 추론을 가능하게 한다. 부분 표본 추출 절차를 적응시킴으로써 런타임을 한 단계 높여 정확도를 유지하면서도 신뢰구간 추정, 분산 추정, 여러 평가자 간 상관 분석에서 성능을 향상시킨다.

ABSTRACT

Bootstrapping provides a flexible and effective approach for assessing the quality of batch reinforcement learning, yet its theoretical property is less understood. In this paper, we study the use of bootstrapping in off-policy evaluation (OPE), and in particular, we focus on the fitted Q-evaluation (FQE) that is known to be minimax-optimal in the tabular and linear-model cases. We propose a bootstrapping FQE method for inferring the distribution of the policy evaluation error and show that this method is asymptotically efficient and distributionally consistent for off-policy statistical inference. To overcome the computation limit of bootstrapping, we further adapt a subsampling procedure that improves the runtime by an order of magnitude. We numerically evaluate the bootrapping method in classical RL environments for confidence interval estimation, estimating the variance of off-policy evaluator, and estimating the correlation between multiple off-policy evaluators.

연구 동기 및 목표

• 부트스트래핑 기법이 오프-폴리시 평가(OPE)에서 이론적으로 이해되지 않은 점을 해결하기 위해.
• 정책 평가 오차 추론에 대해 渐近적 효율성과 분포 일치성을 보장하는 부트스트래핑 FQE 방법을 개발하기 위해.
• 부분 표본 추출 적응을 통해 부트스트래핑의 계산 비용을 줄여 런타임을 한 단계 높이기 위해.
• 신뢰구간, 오프-폴리시 평가자들의 분산, 여러 평가자 간 상관관계 추정에서의 성능을 평가하기 위해.

제안 방법

• 배치 데이터에서 재표본 추출을 통해 정책 평가 오차의 표본 분포를 추론하는 부트스트래핑 FQE 방법을 제안한다.
• 표본 크기가 무한해질 때 효율성과 분포 일치성을 보장하는 이론적 보장을 수립하며, 이는 표본 공간 및 선형 모델 설정에서 FQE의 최대화-최소화 최적성 조건 하에 성립한다.
• 계산 비용을 줄이기 위해 부분 표본 추출 절차를 적응시켜 기존 부트스트래핑 대비 10배 빠른 성능 향상을 달성한다.
• 고전적인 강화학습 환경에서 여러 평가자 간의 신뢰구간, 오프-폴리시 평가자들의 분산, 상관관계를 추정하기 위해 이 방법을 적용한다.
• 적합된 Q-평가 프레임워크를 기본 추정기로 사용하며, 최대화-최소화 최적성 특성을 활용해 강력한 통계 성능을 확보한다.

실험 결과

연구 질문

• RQ1 최대화-최소화 최적의 FQE를 기본 추정기로 사용할 때, 오프-폴리시 평가에 부트스트래핑을 이론적으로 정당화할 수 있는가?
• RQ2 제안된 부트스트래핑 FQE 방법이 정책 평가 오차 추론에서 渐近적 효율성과 분포 일치성을 달성하는가?
• RQ3 대규모 OPE에서 부트스트래핑을 계산적으로 실현 가능하게 하되 통계 정확도를 훼손하지 않게 할 수 있는가?
• RQ4 이 방법의 경험적 성능은 신뢰구간 추정, 평가자 분산, 여러 오프-폴리시 평가자 간 상관관계 추정에서 어떻게 나타나는가?

주요 결과

• 제안된 부트스트래핑 FQE 방법은 渐近적 효율성과 분포 일치성을 달성하여 정책 평가 오차 추론에 있어 신뢰할 수 있는 결과를 보장한다.
• 부분 표본 추출 적응으로 인해 런타임이 한 단계 높아져 대규모 오프-폴리시 평가에 부트스트래핑을 실현 가능하게 했다.
• 경험적 결과는 고전적인 강화학습 환경에서 정확한 신뢰구간 추정을 보여주며, 방법의 신뢰성을 검증한다.
• 이 방법은 오프-폴리시 평가자들의 분산과 다수의 평가자 간 상관관계를 성공적으로 추정하여 실용적 환경에서의 강건성을 입증한다.