[논문 리뷰] Representation Balancing MDPs for Off-Policy Policy Evaluation

Yao Liu, Omer Gottesman외 5명|arXiv (Cornell University)|2018. 05. 23.

Advanced Causal Inference Techniques참고 문헌 25인용 수 8

한 줄 요약

이 논문은 유한 표본 일반화 오차를 극복하기 위해 IPM 기반 손실을 사용해 표현을 균형 잡는 모델 기반 이완정책 평가 방법인 Representation Balancing MDPs (RepBM)를 제안한다. 합성 및 HIV 치료 벤치마크에서 기존 최고 수준의 방법들보다 유의미하게 낮은 MSE를 달성하며, 특히 결정성 정책 설정에서 개인 정책 가치 추정에 뛰어난 성능을 보인다.

ABSTRACT

We study the problem of off-policy policy evaluation (OPPE) in RL. In contrast to prior work, we consider how to estimate both the individual policy value and average policy value accurately. We draw inspiration from recent work in causal reasoning, and propose a new finite sample generalization error bound for value estimates from MDP models. Using this upper bound as an objective, we develop a learning algorithm of an MDP model with a balanced representation, and show that our approach can yield substantially lower MSE in common synthetic benchmarks and a HIV treatment simulation domain.

연구 동기 및 목표

• 행동 정책와 평가 정책 간의 차이가 크다는 상황에서 순차적 의사결정 문제에서의 이완정책 평가(OPPE) 과제를 해결하기 위해.
• 평균 정책 가치(APV)가 아니라 개인 정책 가치(IPV)의 추정 정확도를 향상시키기 위해, 이는 개인 맞춤형 응용 분야(예: 헬스케어)에서 핵심적이다.
• 자료 분포 이동을 고려한 유한 표본 일반화 오차 경계를 이론적으로 기반으로 한 값 추정에 대해 제시하기 위해.
• 이 경계를 활용해 분포 이동에 강건한 표현을 학습하는 모델 기반 OPPE 방법을 설계하기 위해, 특히 결정성 평가 정책에 초점한다.
• 특히 저중복 및 고수준 설정에서 평균 제곱오차(MSE) 측면에서 기존의 IS 기반 및 모델 기반 방법들을 능가하기 위해.

제안 방법

• 행동 정책와 평가 정책 간의 분포 이동을 명시적으로 고려한 새로운 유한 표본 일반화 오차 경계를 값 추정에 도입한다.
• 이 경계를 바탕으로 한 손실 함수를 제안하며, 상태 표현의 행동 정책 및 평가 정책 간 균형을 위해 적분 확률 거리(IPM)를 사용한다.
• 모델은 행동 정책와 평가 정책의 상태 표현 간 IPM을 최소화하도록 훈련되어, 평가 정책의 분포로의 일반화 능력을 향상시킨다.
• 실제 응용 분야에서 흔한 결정성 평가 정책에 적용된다.
• 초기화수준 조정을 위해 검증 세트를 사용하여 IPM 가중치 계수 α 등의 하이퍼파라미터를 조정함으로써 다양한 도메인에서의 안정된 성능을 확보한다.
• 기존의 모델 기반 추정기인 DR 및 WDR와 통합되어 RepBM-DR 및 RepBM-WDR 변종을 형성하며, 기존 기준 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 행동 정책와 평가 정책 간의 분포 이동을 상태 표현에서 명시적으로 고려함으로써, 모델 기반 OPPE 방법이 기존의 IS 및 DR 기반 방법보다 더 낮은 유한 표본 오차를 달성할 수 있는가?
• RQ2 IPM를 통한 표현 균형은 표준 MLE 또는 IS 기반 모델 대비 개인 정책 가치 추정 정확도를 어떻게 향상시키는가?
• RQ3 IPM 하이퍼파라미터 α는 다양한 수준과 정책 겹침 영역에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 행동 정책와 평가 정책의 경로가 크게 다를 때인 고수준 설정에서도 이 방법이 낮은 오차를 유지하는가?
• RQ5 이러한 방법이 MRDR, WMRDR, PSIS와 같은 최신 기준 방법들을 합성 및 실제 헬스케어 시뮬레이션 환경 모두에서 능가할 수 있는가?

주요 결과

• 장수준 CartPole 도메인에서 RepBM는 평균 정책 가치에 대해 루트 MSE 0.389, 개인 정책 가치에 대해 1.023을 기록하여, IS(149.7 및 152.2)와 PSIS(108.6 및 2334)보다 유의미하게 뛰어난 성능을 보였다.
• HIV 치료 시뮬레이션에서 RepBM는 평균 값에 대해 루트 MSE 0.248, 개인 값에 대해 8.075를 기록하여, WIS(0.505 및 93.86)와 Soft WIS(0.380 및 70.55)를 능가했다.
• 장수준과 저정책 겹침 상황에서도 강건성을 보였으며, α를 0에서 1로 증가시킬수록 성능이 향상되어 α=1에서 최고 성능에 도달한 후 α=10에서 성능 저하가 발생했다.
• RepBM-DR 및 RepBM-WDR 변종은 모든 벤치마크에서 기준 대비 낮은 MSE를 기록하여 표현 균형의 효과를 입증했다.
• 제거 실험에서 IPM 기반 손실의 중요성을 확인했으며, α=0(균형 없음)으로 설정할 경우 개인 가치 추정에서 특히 오차가 높아졌다.
• MRDR, WMRDR, Soft WMRDR는 고분산 및 불안정성으로 어려움을 겪었으며, 특히 HIV 도메인에서 성능이 열 劣하였다.