[논문 리뷰] Using Options and Covariance Testing for Long Horizon Off-Policy Policy Evaluation

Zhaohan Daniel Guo, Philip S. Thomas외 1명|arXiv (Cornell University)|2017. 03. 09.

Economic and Environmental Valuation인용 수 25

한 줄 요약

이 논문은 장기적인 순차적 결정 문제에서 중요도 샘플링 추정기의 분산을 줄이기 위해 이산적 행동을 넘어서 시간적으로 연장된 행동인 옵션(옵션)을 오프-폴리시 정책 평가에 도입한다. 정책을 옵션 기반으로 구성함으로써 지수적 분산 감소를 달성하고, 동적 가중치 제거를 가능하게 하는 공분산 테스트 규칙을 도입하여, 기존 방법보다 훨씬 높은 정확도와 낮은 평균제곱오차를 보이는 새로운 알고리즘인 Incremental Importance Sampling (INCRIS)를 제안한다.

ABSTRACT

Evaluating a policy by deploying it in the real world can be risky and costly. Off-policy policy evaluation (OPE) algorithms use historical data collected from running a previous policy to evaluate a new policy, which provides a means for evaluating a policy without requiring it to ever be deployed. Importance sampling is a popular OPE method because it is robust to partial observability and works with continuous states and actions. However, the amount of historical data required by importance sampling can scale exponentially with the horizon of the problem: the number of sequential decisions that are made. We propose using policies over temporally extended actions, called options, and show that combining these policies with importance sampling can significantly improve performance for long-horizon problems. In addition, we can take advantage of special cases that arise due to options-based policies to further improve the performance of importance sampling. We further generalize these special cases to a general covariance testing rule that can be used to decide which weights to drop in an IS estimate, and derive a new IS algorithm called Incremental Importance Sampling that can provide significantly more accurate estimates for a broad class of domains.

연구 동기 및 목표

• 장기적 시나리오에서 오프-폴리시 정책 평가에 사용되는 중요도 샘플링의 높은 분산 문제를 해결함으로써 실생활 응용에서의 실용성을 제고한다.
• 옵션을 통한 시간적 추상화를 활용해 유효한 수명을 단축하고 추정의 안정성을 향상시킨다.
• 옵션 기반 정책에서 발생하는 특수한 구조적 경우를 식별하여, 가중치 제거를 통해 추가적인 분산 감소를 이룬다.
• 이러한 특수 케이스를 일반화하여 중요도 샘플링에서 자동으로 유의미한 가중치를 선택할 수 있는 원칙적인 공분산 테스트 규칙을 도출한다.
• 이 규칙을 적용해 추정 정확도를 향상시키는 새로운 알고리즘인 Incremental Importance Sampling (INCRIS)를 개발하고 평가한다.

제안 방법

• 이산 상태, 동작, 보상으로 구성된 마르코프 결정 과정(MDP)을 사용해 의사결정 과정을 모델링하고, 기본 동작 또는 옵션 기반 정책을 정의한다.
• 기본 정책, 종료 조건, 입력 상태 집합의 조합으로 옵션을 표현함으로써 시간적으로 연장된 동작를 가능하게 한다.
• 행동 정책 하에서 수집된 데이터를 사용해 평가 정책의 성능을 중요도 샘플링을 통해 추정하며, 옵션을 고려한 수정된 방법을 적용한다.
• 추정기 분산에 기여도가 낮은 중요도 샘플링 가중치를 식별하고 제거하기 위해 공분산 테스트 규칙을 유도한다.
• 공분산 테스트를 동적으로 적용해 가중치를 선택하는 Incremental Importance Sampling (INCRIS) 알고리즘을 설계하여 추정 정확도를 향상시킨다.
• 의료 관리 및 디지털 마케팅과 같은 실세계 도메인을 시뮬레이션하기 위해 종속된 서브-에피소드를 포함한 수정된 MDP에서 INCRIS를 실증적으로 평가한다.

실험 결과

연구 질문

• RQ1 오프-폴리시 정책 평가에서 옵션을 사용하면 장기적 시나리오에서 중요도 샘플링 추정기의 분산을 줄일 수 있는가?
• RQ2 옵션의 구조적 특성(예: 고정 상태에서의 종료)은 중요도 샘플링의 자연스러운 분산 감소를 이끌어내는가?
• RQ3 일반적인 공분산 테스트 규칙을 유도해 무의미한 중요도 샘플링 가중치를 자동으로 식별하고 제거할 수 있는가?
• RQ4 결과적으로 도출된 Incremental Importance Sampling (INCRIS) 알고리즘이 기존 중요도 샘플링 방법보다 유의미하게 낮은 평균제곱오차를 달성하는가?
• RQ5 데이터가 증가함에 따라 INCRIS가 더 긴 행동 시퀀스를 선택함으로써 편향과 분산을 적절히 균형 잡을 수 있는가?

주요 결과

• 옵션 기반 정책를 사용하면 중요도 샘플링 추정기의 분산이 지수적으로 감소하며, 일부 케이스에서는 분산이 수명 길이에 영향을 받지 않게 된다.
• 특수한 구조적 특성을 가진 옵션(예: 고정된 상태 분포에서 종료)은 중요도 샘플링 가중치를 제거할 수 있어 분산 감소에 기여한다.
• 제안된 공분산 테스트 규칙은 영향력이 낮은 가중치를 성공적으로 식별하고 제거하여 추정기 분산을 감소시키지만, 편향을 유발하지 않는다.
• INCRIS 알고리즘은 일반 중요도 샘플링보다 평균제곱오차를 한 수준 낮추며, 특정 데이터 환경에서는 무가중치 추정기 대비 최대 두 수준의 개선을 달성한다.
• 의료 관리 및 디지털 마케팅과 같은 도메인에서 에피소드가 상호 의존적인 경우에도 효과적이며, 표준 IS의 i.i.d. 가정을 위반하는 상황에서 유의미한 성능 향상을 보인다.
• INCRIS는 PDIS, WIS, CWPDIS와 같은 최신 기법들보다 다양한 데이터 크기에서 뛰어난 성능을 보였다.