[논문 리뷰] Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation

Yaqi Duan, Mengdi Wang|arXiv (Cornell University)|2020. 02. 21.

Advanced Bandit Algorithms Research참고 문헌 15인용 수 15

한 줄 요약

이 논문은 선형 함수 근사와 함께 오프-폴리시 평가를 위한 회귀 기반 피팅된 Q-반복(Fitted Q-Iteration, FQI) 방법을 제안하며, 마코프 과정의 압축 성질과 믹스드 마틴갈레 농도를 활용해 최소최대 최적의 추정 오차를 달성함을 증명한다. 핵심 결과는 오차가 목표 정책과 행동 정책의 상태-행동 분포 간 제한된 χ²-발산에 비례함을 보여주며, 이는 최악의 밀도 비율보다 훨씬 작을 수 있어 자료 효율적인 평가를 가능하게 한다.

ABSTRACT

This paper studies the statistical theory of batch data reinforcement learning with function approximation. Consider the off-policy evaluation problem, which is to estimate the cumulative value of a new target policy from logged history generated by unknown behavioral policies. We study a regression-based fitted Q iteration method, and show that it is equivalent to a model-based method that estimates a conditional mean embedding of the transition operator. We prove that this method is information-theoretically optimal and has nearly minimal estimation error. In particular, by leveraging contraction property of Markov processes and martingale concentration, we establish a finite-sample instance-dependent error upper bound and a nearly-matching minimax lower bound. The policy evaluation error depends sharply on a restricted $χ^2$-divergence over the function class between the long-term distribution of the target policy and the distribution of past data. This restricted $χ^2$-divergence is both instance-dependent and function-class-dependent. It characterizes the statistical limit of off-policy evaluation. Further, we provide an easily computable confidence bound for the policy evaluator, which may be useful for optimistic planning and safe policy improvement.

연구 동기 및 목표

• 선형 함수 근사를 사용한 오프-폴리시 평가에 대한 유한 표본 오차 경계를 수립하기 위해.
• 유한 표본 오차 경계를 유도하여 제안된 회귀 기반 방법이 통계적으로 최적임을 증명하기 위해.
• 함수 클래스에 대한 제한된 χ²-발산을 통해 오프-폴리시 평가의 통계적 한계를 기술하기 위해.
• 안전한 정책 개선을 지원하는 데이터에 의존하는 신뢰 구간을 제공하기 위해.
• 함수 근사를 통해 타블루러 중요도 샘플링 대비 추정 오차를 크게 감소시킬 수 있음을 보여주기 위해.

제안 방법

• 배치 데이터에서의 지도 학습을 통해 반복적으로 Q-함수를 추정하는 회귀 기반 피팅된 Q-반복(FQI) 알고리즘을 사용한다.
• FQI 방법을 전이 연산자의 조건부 평균 임bedding을 추정하는 모델 기반 플러그인 추정기로 해석한다.
• 마코프 과정의 압축 성질을 활용해 다단계에 걸친 오차 누적을 제어하여 기하급수적 증가를 방지한다.
• 마틴갈레 농도 부등식을 적용해 고확률 제어 하에 유한 표본 오차 경계를 유도한다.
• 함수 클래스에 대한 제한된 χ²-발산을 도입하여 목표 정책과 행동 정책 간 분포 불일치를 측정한다.
• FQI 알고리즘의 부산물로 데이터에 의존하는 신뢰 구간을 유도하며, 이는 낙관적 계획 수단으로 유용하다.

실험 결과

연구 질문

• RQ1 선형 함수 근사를 사용할 때 오프-폴리시 평가의 통계적 한계는 무엇인가?
• RQ2 회귀 기반 FQI 방법은 오프-폴리시 평가에서 최소최대 최적 오차를 달성할 수 있는가?
• RQ3 목표 정책과 행동 정책 분포 간 제한된 χ²-발산은 추정 오차에 어떻게 영향을 미치는가?
• RQ4 오차 경계를 데이터 기반으로 만들고 실용적으로 계산 가능하게 만들 수 있는가?
• RQ5 함수 근사를 통해 타블루러 중요도 샘플링 대비 추정 오차가 감소하는가?

주요 결과

• 제안된 회귀 기반 FQI 방법은 $ H^{2} \sqrt{ \frac{1 + \chi_{\mathcal{Q}}^{2}(\mu^{\pi}, \bar{\mu})}{N} } $ 순서의 유한 표본 오차 상한을 달성한다. 여기서 $ N $ 은 전이 수이다.
• 최소최대 하한 경계가 상한과 거의 일치함을 증명하여, 선형 함수 근사와 함께 오프-폴리시 평가에 대해 정보 이론적으로 최적임을 입증한다.
• 제한된 χ²-발산 $ \chi_{\mathcal{Q}}^{2}(\mu^{\pi}, \bar{\mu}) $ 는 OPE의 통계적 난이도를 캡처하며, 함수 근사 설정에서는 최악의 밀도 비율보다 훨씬 작을 수 있다.
• 마코프 압축을 통한 선형 오차 누적 덕분에 $ N = \Omega(dH^3) $ 이면 오차가 수명의 곡률(curse of horizon)에 영향을 받지 않는다.
• 데이터와 함수 클래스에 의존하는 계산 가능한 신뢰 구간을 제공하여 안전한 정책 개선과 책임성 확보를 가능하게 한다.
• 유한 행렬의 조건수(condition number)가 $ \chi_{\mathcal{Q}}^{2}(\mu^{\pi}, \bar{\mu}) $ 를 특징짓며, 이는 데이터로부터 신뢰성 있게 추정 가능하다.