[논문 리뷰] On Well-posedness and Minimax Optimal Rates of Nonparametric Q-function Estimation in Off-policy Evaluation

Xiaohong Chen, Zhengling Qi|arXiv (Cornell University)|2022. 01. 17.

Advanced Causal Inference Techniques인용 수 5

한 줄 요약

이 논문은 비정규적 Q-함수 추정을 위한 최초의 최소최대 최적 수렴률을 제시하며, 이를 비정규적 도구변수(NPIV) 문제로 재구성함으로써 오프-정책 평가에서 이뤄진다. 미약한 조건 하에서 잘 정의됨을 증명하여, 고전적 비정규적 회귀(Stone, 1982)와 동일한 $L^2$-노름 수렴률을 확보하고, 헐리어-두 단계 최소제곱 추정량(sieve two-stage least squares estimator)을 제안하여 헬더 및 소볼레프 클래스의 Q-함수에 대해 초노름 및 $L^2$-노름 모두에서 이러한 최적 수렴률을 달성한다.

ABSTRACT

We study the off-policy evaluation (OPE) problem in an infinite-horizon Markov decision process with continuous states and actions. We recast the $Q$-function estimation into a special form of the nonparametric instrumental variables (NPIV) estimation problem. We first show that under one mild condition the NPIV formulation of $Q$-function estimation is well-posed in the sense of $L^2$-measure of ill-posedness with respect to the data generating distribution, bypassing a strong assumption on the discount factor $γ$ imposed in the recent literature for obtaining the $L^2$ convergence rates of various $Q$-function estimators. Thanks to this new well-posed property, we derive the first minimax lower bounds for the convergence rates of nonparametric estimation of $Q$-function and its derivatives in both sup-norm and $L^2$-norm, which are shown to be the same as those for the classical nonparametric regression (Stone, 1982). We then propose a sieve two-stage least squares estimator and establish its rate-optimality in both norms under some mild conditions. Our general results on the well-posedness and the minimax lower bounds are of independent interest to study not only other nonparametric estimators for $Q$-function but also efficient estimation on the value of any target policy in off-policy settings.

연구 동기 및 목표

• 무한 수명 MDP에서 연속 상태 및 동작를 가진 오프-정책 평가에서 비정규적 Q-함수 추정을 위한 최소최대 하한을 설정하는 것.
• 이전 연구에서 강력한 할인 인자($\gamma$) 가정에 의존하는 문제를 해결하기 위해, 미약한 정규성 조건 하에서 $L^2$-측도의 잘 정의됨을 증명하는 것.
• 초노름 및 $L^2$-노름 모두에서 최소최대 최적 수렴률을 달성하는 스크린 두 단계 최소제곱 추정량을 개발하는 것.
• Q-추정을 넘어서 다른 오프-정책 추정량, 예를 들어 정책가치 및 중요도 가중치 추정에 적용 가능한 일반적인 이론적 도구—잘 정의됨과 최소최대 하한—을 제공하는 것.

제안 방법

• 벨만 방정식을 사용하여 오프-정책 Q-함수 추정을 비정규적 도구변수(NPIV) 문제로 재구성한다.
• 강력한 할인 인자($\gamma$) 제약 없이도, 미약한 조건 하에서 NPIV 설정의 $L^2$-측도 잘 정의됨을 확립한다.
• 초노름 및 $L^2$-노름 모두에서 Q-함수 및 도함수 추정을 위한 최소최대 하한을 유도하며, 이는 고전적 비정규적 회귀 수렴률(Stone, 1982)과 일치한다.
• B-스플라인 및 웨이브렛과 같은 기저 함수를 사용하여 Q-함수를 근사하는 스크린 두 단계 최소제곱(2SLS) 추정량을 제안한다.
• 미약한 정규성 조건 하에서 유도된 최소최대 하한에 도달함으로써, 스크린 2SLS 추정량의 수렴률 최적성(optimality)을 증명한다.
• 의존적인 시계열 자료 설정에서 추정 오차의 고확률 경계를 제어하기 위해 행렬 베르누이 및 베르비의 커플링 보조정리를 적용한다.

실험 결과

연구 질문

• RQ1 강력한 할인 인자 $\gamma$에 대한 가정 없이, 오프-정책 평가에서 비정규적 Q-함수 추정이 $L^2$-측도 의미에서 잘 정의되기 위한 조건는 무엇인가?
• RQ2 연속 상태 및 동작를 가진 일반적인 MDP에서, 초노름 및 $L^2$-노름 모두에서 Q-함수 및 그 도함수의 비정규적 추정에 대해 최소최대 최적 수렴률은 무엇인가?
• RQ3 스크린 두 단계 최소제곱 추정량은 오프-정책 설정에서 Q-함수 추정에 대해 이러한 최소최대 최적 수렴률을 달성할 수 있는가?
• RQ4 유도된 최소최대 하한은 고전적 비정규적 회귀 수렴률과 어떻게 비교되며, 이는 오프-정책 Q-추정의 본질적 난이도에 대해 어떤 시사점을 갖는가?
• RQ5 잘 정의됨 및 최소최대 결과가 정책가치 또는 중요도 가중치 추정과 같은 다른 오프-정책 추정 문제로 얼마나 일반화 가능한가?

주요 결과

• 이전 연구에서 요구하는 강력한 할인 인자($\gamma$) 제약 없이도, 미약한 정규성 조건 하에서 Q-함수 추정의 NPIV 설정이 $L^2$-측도 의미에서 잘 정의됨이 입증된다.
• 초노름 및 $L^2$-노름 모두에서 Q-함수 추정의 최소최대 하한은 고전적 비정규적 회귀 수렴률(Stone, 1982)과 동일함이 입증되며, 이는 오프-정책 Q-추정이 최악의 경우 수렴률 측면에서 표준 비정규적 회귀보다 더 어렵지 않음을 시사한다.
• 제안된 스크린 두 단계 최소제곱 추정량은 초노름 및 $L^2$-노름 모두에서 최소최대 최적 수렴률을 달성하며, B-스플라인 및 웨이브렛 추정량은 헬더-클래스 Q-함수에 대해 초노름 하한에 도달한다.
• 소볼레프-클래스 Q-함수의 경우, 다항식,余弦, 스플라인, 웨이브렛 등 많은 선형 스크린 추정량이 $L^2$-노름 최소최대 하한에 도달한다.
• 미약한 조건 하에서 유도된 $L^2$-노름 수렴률은 효율적 추정 및 목표 정책의 가치에 대한 최적 추론을 위한 충분한 조건를 제공한다.
• 일반적인 잘 정의됨 및 최소최대 하한 결과는 독립적으로도 유의미하며, 마진 중요도 가중치 추정과 같은 다른 오프-정책 추정 문제로도 확장 가능하다.