[논문 리뷰] Understanding the Curse of Horizon in Off-Policy Evaluation via Conditional Importance Sampling

Yao Liu, Pierre‐Luc Bacon외 1명|arXiv (Cornell University)|2019. 10. 15.

Advanced Causal Inference Techniques참고 문헌 36인용 수 8

한 줄 요약

이 논문은 조건부 중요도 샘플링(conditional importance sampling)을 통한 오프-폴리시 평가에 대한 이론적 분석을 제공하며, 유한한 수명주기 MDP에서 per-decision 및 정적 중요도 샘플링이 일반 중요도 샘플링보다 항상 분산을 줄이지 못함을 보여준다. 놀랍게도, 특정 조건 하에서는 이러한 추정기들이 난잡한 IS보다 지수적으로 높은 분산을 가질 수 있음을 증명하지만, 渐진적으로는 다항수준의 분산 증가를 달성할 수 있어 장수명주기 설정에서의 경험적 성공을 설명한다.

ABSTRACT

Off-policy policy estimators that use importance sampling (IS) can suffer from high variance in long-horizon domains, and there has been particular excitement over new IS methods that leverage the structure of Markov decision processes. We analyze the variance of the most popular approaches through the viewpoint of conditional Monte Carlo. Surprisingly, we find that in finite horizon MDPs there is no strict variance reduction of per-decision importance sampling or stationary importance sampling, comparing with vanilla importance sampling. We then provide sufficient conditions under which the per-decision or stationary estimators will provably reduce the variance over importance sampling with finite horizons. For the asymptotic (in terms of horizon $T$) case, we develop upper and lower bounds on the variance of those estimators which yields sufficient conditions under which there exists an exponential v.s. polynomial gap between the variance of importance sampling and that of the per-decision or stationary estimators. These results help advance our understanding of if and when new types of IS estimators will improve the accuracy of off-policy estimation.

연구 동기 및 목표

• 정적 중요도 샘플링(SIS)과 per-decision 중요도 샘플링(PDIS)이 이론적으로 기대되는 바와는 달리 오프-폴리시 평가에서 분산을 줄이지 못하는 이유를 이해하는 것.
• 확장된 조건부 몬테카를로 추정기의 관점에서 IS, PDIS, SIS 간의 관계를 체계화하는 것.
• 유한한 수명주기 MDP에서 PDIS와 SIS가 일반 IS보다 분산을 확실히 줄이는 데 필요한 충분조건을 유도하는 것.
• IS, PDIS, SIS의 분산에 대한 渐진적 상한 및 하한을 설정하여, 수명주기 T에 대한 다항수준과 지수수준의 의존성 비교.
• 이론적 결과와 SIS가 장수명주기 환경에서 경험적으로 성공하는 데서 기인하는 조건을 연결하여 분산 감소 조건을 규명하는 것.

제안 방법

• 다양한 통계량(예: 상태-행동 시퀀스, 보상)에 조건을 두어 IS, PDIS, SIS를 조건부 몬테카를로 추정기의 사례로 체계화.
• 전체 분산의 법칙을 적용하여 조건부 추정기의 분산을 분석하고, 합성항 간의 공분산으로 인해 분산 감소가 보장되지 않음을 보여줌.
• MDP의 구조와 조건 통계량의 선택에 기반하여, 분산 감소를 위한 충분조건을 정리 1 및 정리 2에서 도출.
• 마팅갈의 농도 부등식을 사용하여 일반 상태 공간에서의 세 추정기의 渐진적 분산 상한을 유도.
• 漸진적 분산 증가율을 비교: 특정 조건 하에서는 SIS와 PDIS가 수명주기 T에 대해 다항수준(O(T²))의 의존성을 가지며, 일반 IS는 지수수준의 의존성을 가짐을 보여줌.
• 배치 설정에서의 보상 조건부 추정기와 일반 IS가 동일함을 입증하여 온라인 학습과 배치 학습 간의 차이를 부각함.

실험 결과

연구 질문

• RQ1 유한한 수명주기 MDP에서 per-decision 중요도 샘플링(PDIS)이 일반 중요도 샘플링(IS)보다 분산을 줄이는 조건은 무엇인가?
• RQ2 정적 중요도 샘플링(SIS)이 PDIS 및 IS보다 분산을 확실히 줄일 수 있으며, 만약 그렇다면 그에 필요한 충분조건은 무엇인가?
• RQ3 이론적으로 분산이 더 높을 위험이 있음에도 불구하고, 왜 경험적으로 SIS가 장수명주기 도메인에서 IS를 초월하는가?
• RQ4 수명주기 T가 증가함에 따라 IS, PDIS, SIS의漸진적 분산 행동은 어떻게 되며, 증가율 측면에서 어떻게 비교되는가?
• RQ5 다른 통계량(예: 보상, 상태-행동 쌍)에 조건을 두면, 오프-폴리시 평가에서 중요도 샘플링 추정기의 분산은 어떻게 영향을 받는가?

주요 결과

• 유한한 수명주기 MDP에서 per-decision 및 정적 중요도 샘플링은 일반 IS보다 항상 분산을 줄이지 못하며, 반례로 IS가 더 낮은 분산을 가질 수 있음.
• 궤적 합의 합성항 간의 공분산으로 인해, 조건부 중요도 샘플링 추정기의 분산이 난잡한 IS보다 낮다고 보장되지 않음.
• 정리 1 및 정리 2에서 MDP의 구조와 조건 통계량의 선택에 기반한 PDIS 및 SIS의 분산 감소를 위한 충분조건 도출.
• 특정 조건 하에서, SIS의 분산은 O(T²) 수준으로 증가하지만, 일반 IS는 T에 대해 지수수준으로 증가할 수 있어, SIS의 장수명주기 설정에서의 경험적 성공을 설명함.
• 코로나리 4는 온건한 가정 하에서 SIS의 분산이 PDIS의 분산보다 확실히 낮음을 보여주며, 일부 영역에서 SIS의 우월성에 대한 이론적 근거 제공.
• 배치 설정에서의 보상 조건부 추정기는 일반 IS와 동일함을 입증하여, 이러한 조건부 처리가 배치 오프-폴리시 평가에서 분산 감소를 내재적으로 보장하지 않음을 시사함.