[논문 리뷰] Accountable Off-Policy Evaluation With Kernel Bellman Statistics

Yihao Feng, Tongzheng Ren외 2명|arXiv (Cornell University)|2020. 08. 15.

Machine Learning and Algorithms참고 문헌 46인용 수 7

한 줄 요약

이 논문은 핵심 벨먼 통계를 사용하여 알려진 행동 정책이 필요 없고 고분산 문제를 겪지 않는, 날카운트된 증명 가능 신뢰구간을 구축하는 변분 프레임워크를 제안한다. 재생 힐버트 공간 내에서 핵심 벨먼 손실 경계로부터 유도된 Q-함수의 탐색 가능 집합 위에서 최적화함으로써, 이 방법은 계산적으로 효율적이고 높은 신뢰도를 가진 구간을 제공하며, 기존 평가기법의 사후 진단도 가능하게 한다. 기존의 중요도 샘플링보다 안정성과 정확도에서 뛰어나다.

ABSTRACT

We consider off-policy evaluation (OPE), which evaluates the performance of a new policy from observed data collected from previous experiments, without requiring the execution of the new policy. This finds important applications in areas with high execution cost or safety concerns, such as medical diagnosis, recommendation systems and robotics. In practice, due to the limited information from off-policy data, it is highly desirable to construct rigorous confidence intervals, not just point estimation, for the policy performance. In this work, we propose a new variational framework which reduces the problem of calculating tight confidence bounds in OPE into an optimization problem on a feasible set that catches the true state-action value function with high probability. The feasible set is constructed by leveraging statistical properties of a recently proposed kernel Bellman loss (Feng et al., 2019). We design an efficient computational approach for calculating our bounds, and extend it to perform post-hoc diagnosis and correction for existing estimators. Empirical results show that our method yields tight confidence intervals in different settings.

연구 동기 및 목표

• 중요도 샘플링의 한계, 즉 고분산과 알려진 행동 정책에 대한 의존성을 해결하기 위해.
• 오프-폴리시 데이터를 사용하여 정책 성능 추정의 엄밀하고 날카운트된 신뢰구간을 구축하기 위해.
• 기존 오프-폴리시 평가기법의 사후 진단 및 보정을 동일한 프레임워크를 통해 가능하게 하기 위해.
• 장수명의 MDP에서의 '역경의 차원' 문제를 피하기 위해 밀도 비율 추정을 피하기 위해.
• 행동 정책에 대한 명시적 지식이 필요 없는 행동 정책에 무관한 방법을 제공하기 위해.

제안 방법

• 진정한 Q-함수를 높은 확률로 포함하는 타당한 Q-함수 집합 위에서 최적화 문제로 오프-폴리시 평가를 공식화한다.
• 핵심 벨먼 손실(Feng 등, 2019)을 사용하여 후보 Q-함수의 진정한 벨먼 방정식에서의 이탈을 제한하는 통계적 제약 조건을 정의한다.
• 계산의 타당성을 확보하기 위해 재생 힐버트 공간(RKHS) 내에서 Q-함수에 대한 노름 제약 조건을 부과한다.
• 유한 차원 매개변수화를 통해 효율적인 최적화를 가능하게 하기 위해 랜덤 특징을 사용하여 핵심을 근사한다.
• 제약된 타당한 집합 위에서 수익 기능을 최대화/최소화하여 기대 수익의 상한 및 하한을 구한다.
• 기존의 Q-함수 추정치를 기반으로 한 최적화를 제약 조건으로 설정하여 프레임워크를 사후 분석으로 확장한다.

실험 결과

연구 질문

• RQ1 알려진 행동 정책가 필요 없이 날카운트된 증명 가능한 신뢰구간을 구축할 수 있는가?
• RQ2 핵심 기반의 통계적 제약 조건을 사용하여 진정한 Q-함수를 타당한 집합 내에 높은 확률로 포함시킬 수 있는가?
• RQ3 제안된 방법이 중요도 샘플링보다 더 날카운트한 신뢰구간을 달성할 수 있는가, 특히 고분산 또는 장수명 설정에서?
• RQ4 동일한 변분 프레임워크를 사용하여 기존 오프-폴리시 평가기법의 사후 진단 및 보정이 가능한가?
• RQ5 다양한 정책 분리 정도를 가진 제어 벤치마크에서 이론적으로 어떻게 성능을 발휘하는가?

주요 결과

• 이 방법은 특히 고분산 영역에서 중요도 샘플링 기반 접근보다 훨씬 날카운트한 신뢰구간을 달성한다.
• 프레임워크는 진정한 정책 가치에 대해 증명 가능한 높은 신뢰도의 신뢰구간을 제공하며, 포함 확률에 대한 이론적 보장을 제공한다.
• 제어 벤치마크에서의 실증 결과는 다양한 환경에서 신뢰도 있고 좁은 신뢰구간을 제공함을 보여준다.
• 사후 보정을 통해 기존 평가기법의 편향을 효과적으로 진단하고 조정할 수 있었으며, 이는 추정된 Q-함수가 진정한 값에서 벗어날 경우에 특히 유용하다.
• 행동 정책가 알려져 있거나 혼합 정책일 경우에도 이 방법은 밀도 비율 추정이 필요 없이 강건하게 유지된다.
• 이론적 분석은 랜덤 특징 핵심화에 의해 유도되는 근사 오차가 유한하며 표본 크기가 증가함에 따라 감소함을 보여준다.