[논문 리뷰] Adaptive Estimator Selection for Off-Policy Evaluation

Yi Su, Pavithra Srinath외 1명|arXiv (Cornell University)|2020. 02. 18.

Reinforcement Learning in Robotics참고 문헌 29인용 수 7

한 줄 요약

이 논문은 오프-폴리시 평가에서 적응형 추정기 선택을 위한 데이터 기반 방법인 Slope를 제안하며, 최적의 추정기와 비슷한 성능을 상수 배수 이내로 달성한다. 편향과 분산을 균형 잡기 위해 분산 기반 신뢰구간을 활용함으로써, 강화학습 분야에서 Magic와 같은 기존 방법들을 능가하고, 문맥적 밴드잇 및 강화학습 환경을 포함한 다양한 환경에서 일관되게 최적의 초모수를 선택한다.

ABSTRACT

We develop a generic data-driven method for estimator selection in off-policy policy evaluation settings. We establish a strong performance guarantee for the method, showing that it is competitive with the oracle estimator, up to a constant factor. Via in-depth case studies in contextual bandits and reinforcement learning, we demonstrate the generality and applicability of the method. We also perform comprehensive experiments, demonstrating the empirical efficacy of our approach and comparing with related approaches. In both case studies, our method compares favorably with existing methods.

연구 동기 및 목표

• 크로스 밸리데이션과 같은 전통적 방법이 편향 없는 오차 추정이 불가능하여 실패하는 강화학습 및 문맥적 밴드잇 환경에서 최적의 오프-폴리시 추정기를 선택하는 데 있어 핵심 과제를 해결한다.
• 일반화 능력이 제한된 히우리스틱 또는 도메인 특화 지침에 의해 다루어지는 추정기 초모수 튜닝의 편향-분산 트레이드오��� 문제를 극복한다.
• 연속적 행동을 포함한 문맥적 밴드잇 및 부분 중요도 가중치를 사용하는 강화학습과 같은 다양한 오프-폴리시 평가 설정에 적용 가능한 일반적인, 이론적으로 탄탄한 방법을 개발한다.
• 최소한의 가정 하에 선택된 추정기가 오라클 선택과 상수 배수 이내로 경쟁 가능함을 보여주는 성능 보장을 수립한다.
• 다양한 환경과 추정기 유형에서의 경험적 슈퍼리오리티를 입증하며, Magic 및 고정된 수평선 추정기와 같은 기존 방법들을 능가한다.

제안 방법

• 각 추정기의 분산 추정치를 사용해 그 (편향된) 기대값을 둘러싼 신뢰구간을 구성함으로써, 편향 없는 오차 추정이 필요 없도록 한다.
• 모든 다른 추정기의 기대값이 허용 오차 내에 포함되면서도 가장 좁은 신뢰구간을 가진 추정기를 식별하는 Lepski 유형의 선택 규칙을 적용한다.
• 신뢰구간의 너비와 다른 추정기들과의 겹침을 통해 편향과 분산의 합을 근사함으로써 편향과 분산을 균형 잡는다.
• 관측 가능한 분산 추정치만을 사용하고 진정한 오차 추정이 필요 없는 데이터 기반의 오라클 튜닝 대체 방법으로 선택 절차를 수식화한다.
• 이를 바탕으로 두 가지 핵심 응용 분야인 연속적 행동 문맥적 밴드잇에서의 대역폭 선택과 강화학습에서 부분 중요도 가중치 추정기의 수평선 선택으로 확장한다.
• 비모수 통계 기법(예: Lepski의 방법)을 사용해 이론적 일致성과 다양한 데이터 조건에서의 강건성을 보장한다.

실험 결과

연구 질문

• RQ1 오프-폴리시 평가에서 크로스 밸리데이션과 오차 최소화의 함정을 피할 수 있는 데이터 기반 추정기 선택 방법을 개발할 수 있는가?
• RQ2 일반적인 선택 절차가 다양한 오프-폴리시 평가 설정에서 오라클 추정기와의 성능 경쟁 가능성을 어느 정도 달성할 수 있는가?
• RQ3 편향이 크거나 모델 불일치가 있는 환경에서, Magic와 같은 기존 방법과 비교해 실용적으로 얼마나 잘 작동하는가?
• RQ4 모델 기반 및 중요도 샘플링 기반 추정기와 같은 다양한 추정기 유형이 문맥적 밴드잇 및 강화학습 모두에서 일반화되는가?
• RQ5 진정한 오차 추정이나 도메인 특화 튜닝 없이도 최적의 초모수(예: 대역폭, 가짜 수평선)를 신뢰성 있게 선택할 수 있는가?

주요 결과

• Slope는 모든 실험 조건에서 고정된 초모수 설정보다 우수한 성능을 보이며, 실현 불가능한 스카이라인 오라클과 경쟁 가능한 추정기를 일관되게 선택한다.
• 강화학습 환경에서, Slope는 오직 Magic뿐인 다른 비교 가능한 추정기 선택 방법보다 여러 도메인(예: 그리드월드, 마운틴카, 하이브리드)에서 뚜렷한 성능 향상을 보였다.
• 연속적 행동을 가진 문맥적 밴드잇에서는 모든 테스트된 대역폭에서 낮은 평균 제곱 오차(MSE)를 달성하여 강건성과 적응성을 입증했다.
• 하이브리드 도메인에서는 표본 수가 증가함에 따라 안정적이고 낮은 오차를 유지하며, 오차 막대가 모든 베이스라인보다 항상 낮게 나타났다.
• 쌍체 t-검정 결과, 모든 106개 실험 조건에서 Slope의 성능은 유의수준 0.05에서 모든 베이스라인보다 통계적으로 유의미하게 뛰어나다.
• 정책 불일치, 보상 희소성, 확률적 요소가 다양한 환경에서도 강력한 경험적 성능를 보이며 일반화 능력을 입증했다.