[논문 리뷰] Statistical Bootstrapping for Uncertainty Estimation in Off-Policy Evaluation

Ilya Kostrikov, Ofir Nachum|arXiv (Cornell University)|2020. 07. 27.

Simulation Techniques and Applications참고 문헌 34인용 수 15

한 줄 요약

이 논문은 강화학습에서 오프-폴리시 평가(OPE)에 대해 Efron의 부트스트랩을 사용하여 校정된 신뢰구간을 생성하는 것을 제안한다. 특히 모델 기반(MB) 및 Q-평가(QE/FQE) 방법에 대해 적용한다. 부트스트랩이 유효한 신뢰구간을 제공할 수 있는 이론적 조건—충분한 데이터 크기와 충분한 상태-행동 분포 커버리지—를 규명하고, 낮은 데이터 또는 열악한 커버리지 환경에서의 강건성 향상을 위해 노이즈 주입과 정규화를 도입하여 연속 제어 벤치마크에서 최신 기술 수준의 불확실성 추정을 달성한다.

ABSTRACT

In reinforcement learning, it is typical to use the empirically observed transitions and rewards to estimate the value of a policy via either model-based or Q-fitting approaches. Although straightforward, these techniques in general yield biased estimates of the true value of the policy. In this work, we investigate the potential for statistical bootstrapping to be used as a way to take these biased estimates and produce calibrated confidence intervals for the true value of the policy. We identify conditions - specifically, sufficient data size and sufficient coverage - under which statistical bootstrapping in this setting is guaranteed to yield correct confidence intervals. In practical situations, these conditions often do not hold, and so we discuss and propose mechanisms that can be employed to mitigate their effects. We evaluate our proposed method and show that it can yield accurate confidence intervals in a variety of conditions, including challenging continuous control environments and small data regimes.

연구 동기 및 목표

• 오프-폴리시 평가(OPE)에서 신뢰할 수 있는 불확실성 추정의 부족, 특히 모델 기반 및 Q-평가 방법과 같은 편향된 추정기의 경우를 해결하기 위해.
• Efron의 부트스트랩이 직접 방법(DM) 추정에 적용되었을 때, 목표 정책의 진정한 가치에 대한 유효한 신뢰구간을 생성할 수 있는지 조사하기 위해.
• 부트스트랩이 渐近적으로 정확한 신뢰구간을 제공할 수 있는 이론적 조건—특히 충분한 데이터 크기와 충분한 커버리지—를 규명하기 위해.
• 이론적 조건이 위반되는 실제 OPE 시나리오에서 부트스트랩 실패를 완화하기 위한 실용적 메커니즘—보상 노이즈와 정규화—를 제안하기 위해.
• 표본화된 환경과 연속 제어 환경에서 제안된 방법을 경험적으로 검증하여, 기존 방법에 비해 향상된 불확실성 보정 성능을 입증하기 위해.

제안 방법

• 직접 방법(DM) 추정기, 예를 들어 모델 기반(MB) 및 적합된 Q-평가(FQE)의 출력에 Efron의 비모수적 부트스트랩을 적용하여 진정한 정책 가치에 대한 신뢰구간을 생성한다.
• 부트스트랩이 유효한 조건—충분한 표본 크기와 행동 정책에 의한 상태-행동 분포 커버리지—를 이론적으로 유도한다.
• 낮은 데이터 환경에서 부트스트랩 유효성을 향상시키기 위해 보상 노이즈를 히우리스틱으로 도입하여 추정기의 효과적 분산을 증가시킨다.
• FQE와 MB에서 신경망 파라미터에 L2 정규화(가중치 감쇠)를 적용하여 학습을 안정화시키고, 특히 낮은 데이터 설정에서 커버리지를 향상시킨다.
• 모델 기반 시뮬레이션 중 상태와 보상 클리핑을 적용하여 발산을 방지하고 부트스트랩된 구간의 강건성을 향상시킨다.
• 여러 시드와 환경, OpenAI Gym 벤치마크를 포함하여 커버리지 확률, 구간 폭, 편향 지표를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 직접 방법 추정기로 오프-폴리시 평가에서 Efron의 부트스트랩이 유효한 신뢰구간을 추정하기 위한 이론적 조건은 무엇인가?
• RQ2 부족한 데이터 크기 또는 열악한 커버리지가 OPE에서 부트스트랩 신뢰구간의 유효성에 어떤 영향을 미치는가?
• RQ3 이론적 가정이 위반되는 낮은 데이터 환경에서 보상 노이즈 주입이 부트스트랩 구간의 보정을 향상시킬 수 있는가?
• RQ4 L2 정규화는 모델 기반 및 FQE 기반 OPE 방법에서 부트스트랩 구간의 신뢰성에 얼마나 기여하는가?
• RQ5 연속 제어 벤치마크에서 제안된 부트스트랩 기반 불확실성 추정은 중요도 샘플링(IS)과 비교해 커버리지 및 구간 폭 측면에서 어떻게 성능을 내는가?

주요 결과

• 이론적 분석 결과, 충분한 데이터 크기와 커버리지 조건이 충족되면 Efron의 부트스트랩은 DM 기반 OPE 추정기의 渐近적으로 유효한 신뢰구간을 제공함을 보여준다.
• 낮은 데이터 환경(예: 10개의 트레이젝터리)에서 표준 부트스트랩을 사용한 순수 FQE는 특히 Reacher에서 넓고 보정이 잘 되지 않은 구간을 생성한다.
• 보상 노이즈 주입은 이론적 가정이 위반되는 낮은 데이터 설정에서 구간 커버리지를 크게 향상시키지만, 구간 폭이 증가하는 비용이 수반된다.
• L2 정규화는 안정적인 성능을 위해 필수적이다: 정규화되지 않은 FQE와 MB는 매우 부정확하고 발산하는 부트스트랩 구간을 생성한다.
• 적절한 노이즈와 정규화를 적용하면, FQE와 MB는 부트스트랩을 사용하여 HalfCheetah와 Hopper와 같은 연속 제어 작업에서 최신 기술 수준의 불확실성 보정 성능을 달성한다.
• 특히 도전적인 낮은 데이터 환경에서 중요도 샘플링 기반 부트스트랩보다 커버리지와 신뢰성 측면에서 우수한 성능을 보인다.