[논문 리뷰] On Minimax Optimal Offline Policy Evaluation

Lihong Li, Rémi Munos외 1명|arXiv (Cornell University)|2014. 09. 12.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 14

한 줄 요약

이 논문은 유한 MDP와 다중 손잡이 밴드잇에서 오프라인 정책 평가에 대해 최소최대 최적 경계를 수립하며, 표준 추정기 두 종류인 가능도 비율(LR)과 회귀(REG) 추정기의 평균제곱오차(MSE)를 분석한다. REG 추정기는 행동 수 또는 보상 분산에 따라 달라지는 상수 요인 내에서 최소최대 최적임을 보이며, 중요도 가중치에 민감하여 LR 추정기는 임의로 더 나쁠 수 있음을 밝힌다.

ABSTRACT

This paper studies the off-policy evaluation problem, where one aims to estimate the value of a target policy based on a sample of observations collected by another policy. We first consider the multi-armed bandit case, establish a minimax risk lower bound, and analyze the risk of two standard estimators. It is shown, and verified in simulation, that one is minimax optimal up to a constant, while another can be arbitrarily worse, despite its empirical success and popularity. The results are applied to related problems in contextual bandits and fixed-horizon Markov decision processes, and are also related to semi-supervised learning.

연구 동기 및 목표

• 유한 MDP와 다중 손잡이 밴드잇에서 오프라인 정책 평가의 기본적인 유한 표본 성능 한계를 수립하기 위해.
• 평균제곱오차(MSE) 기준으로 정책 가치 추정에 대한 최소최대 위험 하한을 분석하기 위해.
• 가능도 비율(LR)과 회귀(REG)이라는 두 가지 널리 사용되는 추정기의 성능을 이 최소최대 하한과 비교하기 위해.
• 회귀 추정기의 점근적 효율성이 유한 표본 최적성으로 이어지는지 여부를 규명하기 위해.
• 결과를 문맥 기반 밴드잇과 고정된 수평선 MDP로 확장하고, 반감독 학습 및 정책 최적화에 대한 함의를 논의하기 위해.

제안 방법

• 보상 평균과 분산에 대한 악성 경우 분포를 사용하여 다중 손잡이 밴드잇에서 오프라인 정책 평가에 대한 최소최대 위험 하한을 유도한다.
• 가능도 비율(LR) 추정기의 MSE를 분석하여, 최소최대 하한 대비 제어할 수 없는 곱셈 인자에 기인한 악영향을 입증한다.
• 각 행동에 대한 평균 보상 추정을 표본 평균을 통해 수행하는 회귀(REG) 추정기를 제안하고, 그 MSE 경계를 유도한다.
• REG 추정기의 MSE가 최소최대 위험과 상수 요인 내에 있음을 입증하며, 이 상수는 $ K $, 즉 행동 수 또는 보상 분산의 역수에 따라 달라진다.
• 고정된 수평선 MDP에 대해 각 상태-행동 쌍을 수평선 내에서 하나의 행동으로 간주하여, 확장된 행동 공간에 대해 밴드잇 결과를 적용함으로써 결과를 확장한다.
• 경로를 효과적인 행동으로 집계하여 MDP를 다중 손잡이 밴드잇으로 환원함으로써, MDP에 대해 밴드잇 결과를 적용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 다중 손잡이 밴드잇에서 오프라인 정책 평가에 대한 최소최대 위험 하한은 평균제곱오차 기준으로 어떻게 되는가?
• RQ2 가능도 비율(LR) 추정기의 성능은 최소최대 하한과 어떻게 비교되며, 왜 중요도 가중치에 민감한가?
• RQ3 회귀(REG) 추정기는 유한 표본 설정에서 보편 상수 내에서 최소최대 최적인가?
• RQ4 REG 추정기의 MSE가 행동 수 $ K $ 에 따라 의존하는 것은 피할 수 없는가, 아니면 피할 수 없는가?
• RQ5 이러한 결과는 문맥 기반 밴드잇과 고정된 수평선 MDP와 같은 더 복잡한 설정으로 어떻게 확장되는가?

주요 결과

• 다중 손잡이 밴드잇에서 오프라인 정책 평가에 대한 최소최대 위험 하한은 $ R_n^* \triangleq \frac{1}{n} \text{Var}(w) + \frac{1}{n} \text{Var}(r) $ 로 스케일링되며, 여기서 $ w $ 는 중요도 가중치이고 $ r $ 은 보상이다.
• 가능도 비율(LR) 추정기의 MSE는 $ (V_1 + V_2)/n $ 이며, 중요도 가중치의 분산과 관련된 제어할 수 없는 인자로 인해 최소최대 하한보다 엄밀히 열악하다.
• 회귀(REG) 추정기는 최소최대 위험과 상수 요인 $ C $ 내에 있으며, $ C = MK\big\{\min(4MK, \max_{x,a} r_{\Phi}^2(x,a)/\sigma_{\Phi}^2(x,a)) + 5\big\} $ 이며, 이 요인은 $ K $ 와 보상 분산에 따라 달라진다.
• REG 추정기의 MSE가 $ K $ 에 따라 의존하는 것은 피할 수 없으며, 특히 저노이즈 설정에서 $ K $ 가 증가함에 따라 증가하는 하한을 통해 이를 입증하였다.
• 작은 표본 크기(최대 $ \sqrt{K} $)에서는 모든 추정기가 일정한 MSE를 겪으며, 이는 본질적인 유한 표본 한계를 나타낸다.
• 고정된 수평선 MDP에서는 최소최대 위험 하한이 $ \max_B \left\{ \sum_{(x,a)\in B} \mu(x,a) \right\}^2 \left(1 - \sum_{\tau} \mu_D(\tau) \right)^n + V_1/n $ 로 스케일링되며, REG 추정기의 MSE는 여전히 이 하한과 상수 요인 내에 있으며, 이 상수는 $ N^{H+1}K^H $ 만큼 증가한다.