[논문 리뷰] Doubly Robust Policy Evaluation and Learning

Miroslav Dudı́k, John Langford외 1명|arXiv (Cornell University)|2011. 03. 23.

Advanced Bandit Algorithms Research참고 문헌 13인용 수 302

한 줄 요약

이 논문은 보상 모델링과 역확률가중법을 조합하여, 보상 모델 또는 행동 정책 모델 중 하나가 정확할 경우 편향 없는 추정을 달성하는 이중으로 강건한(DR) 방법을 제안한다. 기존 기법들에 비해 분산을 줄이고 정확도를 향상시키며, 실험 결과 가치 추정에서 평균 13.6%의 RMSE 감소를 보이고 정책 최적화 성능이 뛰어나다.

ABSTRACT

We study decision making in environments where the reward is only partially observed, but can be modeled as a function of an action and an observed context. This setting, known as contextual bandits, encompasses a wide variety of applications including health-care policy and Internet advertising. A central task is evaluation of a new policy given historic data consisting of contexts, actions and received rewards. The key challenge is that the past data typically does not faithfully represent proportions of actions taken by a new policy. Previous approaches rely either on models of rewards or models of the past policy. The former are plagued by a large bias whereas the latter have a large variance. In this work, we leverage the strength and overcome the weaknesses of the two approaches by applying the doubly robust technique to the problems of policy evaluation and optimization. We prove that this approach yields accurate value estimates when we have either a good (but not necessarily consistent) model of rewards or a good (but not necessarily consistent) model of past policy. Extensive empirical comparison demonstrates that the doubly robust approach uniformly improves over existing techniques, achieving both lower variance in value estimation and better policies. As such, we expect the doubly robust approach to become common practice.

연구 동기 및 목표

• 역사적 데이터가 새로운 정책의 행동 분포를 반영하지 못하는 맥락적 밴디트 환경에서 정책 평가의 정확성을 해결한다.
• 보상 모델이 열 劣한 경우 높은 편향을 보이는 직접 방법과, 행동 정책 모델이 열 劣한 경우 높은 분산을 보이는 역확률가중법의 한계를 극복한다.
• 보상 모델 또는 행동 정책 모델 중 하나가 정확할 경우 편향 없는 추정을 보장하는 통합 프레임워크를 개발한다.
• 이중으로 강건한 접근이 기존 방법들에 비해 추정 정확도와 정책 최적화에서 균일하게 향상됨을 입증한다.

제안 방법

• 맥락적 밴디트 정책 평가에 이중으로 강건한 추정 기법을 적용하여 보상 모델과 행동 정책 모델을 통합한다.
• 역확률가중치와 보상 모델 예측의 가중 조합을 사용하여, 구성 요소 중 하나가 올바를 경우 편향 없는 추정기를 구성한다.
• 이중으로 강건한 추정기를 다음과 같이 정의한다: $\hat{V}_{\text{DR}} = \sum_i \frac{\mathbf{1}(a_i = a) \cdot r_i}{\hat{e}(a|x_i)} + \hat{\varrho}(x_i) \cdot \left(1 - \frac{\mathbf{1}(a_i = a)}{\hat{e}(a|x_i)} \right)$, 여기서 $\hat{e}$는 추정된 행동 정책이고 $\hat{\varrho}$는 보상 모델이다.
• 정책 가중치에 대한 기울기 업데이트를 통해 직접 손실 최소화를 이용해 정책을 최적화하며, DR 추정치를 학습 지도로 활용한다.
• 보상 모델 $\hat{\varrho}(x)$를 훈련하기 위해 릿지 회귀를 사용하고, 행동 정책 확률 $\hat{e}(a|x)$는 로지스틱 회귀 또는 유사한 방법으로 추정한다.
• 합성 벤치마크와 Yahoo! 뉴스에서 확보한 대규모 실세계 데이터셋에서 성능을 평가하여, DR을 IPS와 직접 방법과 비교한다.

실험 결과

연구 질문

• RQ1 보상 모델 또는 행동 정책 모델 중 하나가 정확하지 않은 경우, 이중으로 강건한 추정기가 맥락적 밴디트 환경에서 정책 가치 추정에 도움이 되는가?
• RQ2 역확률가중법과 직접 방법에 비해 이중으로 강건한 방법은 편향, 분산, 추정 정확도 측면에서 어떻게 비교되는가?
• RQ3 이중으로 강건한 추정기를 사용할 경우 실세계에서 더 나은 정책 최적화가 이루어지는가?
• RQ4 비점점적 설정에서 모델 품질이 이중으로 강건한 추정기 성능에 미치는 영향은 무엇인가?

주요 결과

• 이중으로 강건한 추정기는 역확률가중법에 비해 추정 오차를 일관되게 줄이며, 실험 전반에서 평균 RMSE 감소율이 13.6%이다.
• 특히 데이터셋 크기가 작은 경우, DR 추정기는 IPS보다 낮은 분산을 보이며 진정된 정책 가치에 더 빨리 수렴한다.
• 보상 모델 또는 행동 정책 모델 중 하나가 잘못 지정되어도 편향이 낮게 유지되어 강건성을 입증한다.
• 실증 결과로 DR 기반 정책 학습이 IPS와 직접 방법 모두를 능가하는 정책 최적화 성능을 보이며, 더 나은 성능을 내는 정책을 도출한다.
• 대규모 Yahoo! 뉴스 실세계 데이터셋에서의 실험 결과, 특히 데이터가 적은 환경에서 DR은 가치 추정 정확도에서 뚜렷한 향상을 보였다.
• 이론적 분석 결과, DR 추정기의 편향과 분산은 둘 다 진짜 값에서의 모델 이탈에 의존함을 보여주며, 성능에 대한 체계적인 이해를 제공한다.