[논문 리뷰] Doubly robust off-policy evaluation with shrinkage

Yi Su, Maria Dimakopoulou외 2명|arXiv (Cornell University)|2019. 07. 22.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 16

한 줄 요약

이 논문은 문맥 밴드잇에서 이중적으로 강건한 오프-정책 평가를 위한 새로운 수축 프레임워크를 제안하며, 평균 제곱오차(MSE) 경계를 최소화하도록 중요도 가중치를 최적화한다. 낙관적 및 비관적인 수축 전략을 도입하여, 가중치 커파이팅 변형과 조합적 행동을 위한 최초의 수축 기반 방법을 포함한 새로운 추정기들을 도출한다. 이는 원자적 및 조합적 밴드잇 환경에서 최신 기술을 크게 능가하며, 다양한 데이터 제약 조건에서 광범위한 실험적 검증을 통과한다.

ABSTRACT

We propose a new framework for designing estimators for off-policy evaluation in contextual bandits. Our approach is based on the asymptotically optimal doubly robust estimator, but we shrink the importance weights to minimize a bound on the mean squared error, which results in a better bias-variance tradeoff in finite samples. We use this optimization-based framework to obtain three estimators: (a) a weight-clipping estimator, (b) a new weight-shrinkage estimator, and (c) the first shrinkage-based estimator for combinatorial action sets. Extensive experiments in both standard and combinatorial bandit benchmark problems show that our estimators are highly adaptive and typically outperform state-of-the-art methods.

연구 동기 및 목표

• 고 중요도 가중치로 인해 발생하는 이중적으로 강건한 오프-정책 평가의 유한 표본 분산 문제를 해결하기 위해.
• 보상 예측기의 품질에 따라 적응 가능한 체계적이고 이론적으로 탄탄한 중요도 가중치 수축 전략을 개발하기 위해.
• 가중치 커파이팅 변형과 조합적 행동 집합을 위한 새로운 수축 방법을 포함한 새로운 추정기를 설계하여 평균 제곱오차 성능을 향상시키기 위해.
• 실제 세계 및 합성 밴드잇 벤치마크를 포함한 다양한 실수 및 조합적 행동 설정에서 제안된 프레임워크의 실험적 검증을 수행하기 위해.
• 보상 예측기 선택과 수축 전략이 상호의존적임을 입증하고, 실용적 추정기 설계에 대한 함의를 제시하기 위해.

제안 방법

• 평균 제곱오차(MSE)에 대한 날카운 경계를 최적화함으로써 중요도 가중치 수축을 위한 일반적 프레임워크를 유도하며, 보상 예측기 품질에 무관한(비관적) 및 이를 반영하는(낙관적) 두 가지 경계 기법을 사용한다.
• 비관적 수축의 특수한 경우로 가중치 커파이팅 추정기를 도입하며, 그 실험적 성공에 대한 이론적 근거를 제공한다.
• 보상 예측기 품질에 따라 적응하는 낙관적 수축 기반의 새로운 가중치 수축 추정기를 개발하여 편향-분산 트레이드오프를 향상시킨다.
• 수축 프레임워크를 조합적 행동 집합으로 확장하여, 이 설정에서 최초의 수축 기반 오프-정책 추정기를 가능하게 한다.
• 비관적, 낙관적, 그리고 단순한 편향 경계를 기반으로 한 모델 선택을 통해 다양한 데이터 조건에서 최적의 수축 파라미터를 선별한다.
• 단일 패assing 알고리즘 설계를 활용하여 이전 방법들보다 초선형 시간 복잡도를 가진 것과 대비해 대규모 데이터셋에 대한 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 보상 예측기의 성능에 강한 가정 없이도, 오프-정책 평가에서 평균 제곱오차를 최소화하기 위해 중요도 가중치를 체계적으로 어떻게 수축시킬 수 있는가?
• RQ2 가중치 커파이팅과 수축 사이의 이론적 관계는 무엇이며, 이는 특정 최적화 목표와 대응하는가?
• RQ3 보상 예측기 품질을 활용하는 낙관적 수축 전략이 비관적 또는 표준 이중적으로 강건한 추정기보다 더 나은 성능을 낼 수 있는가?
• RQ4 여러 행동을 동시에 선택하는 조합적 행동 집합으로서의 수축은 어떻게 확장될 수 있는가?
• RQ5 보상 예측기 선택과 수축 전략 사이의 상호작용은 무엇이며, 최적 성능을 위해 어떻게 함께 선택되어야 하는가?

주요 결과

• 제안된 비관적 수축 프레임워크는 가중치 커파이팅을 특수한 경우로 정당화하며, 널리 사용되는 히우리스틱에 대한 이론적 근거를 제공한다.
• 낙관적 수축 추정기는 실제 데이터셋의 108개 실험 조건 전역에서 표준 이중적으로 강건한 추정기 및 커파이팅 추정기보다 일관되게 뛰어난 성능을 보이며, 유리한 설정에서는 정규화된 MSE를 최대 30%까지 감소시킨다.
• 조합적 행동을 위한 새로운 수축 기반 추정기는 표준 러닝-투-랭킹 벤치마크에서 최신 기술 수준의 성능을 달성하며, 이는 이 복잡한 설정에서 수축 기법의 첫 성공적 적용을 보여준다.
• 비관적, 낙관적, 단순한 편향 경계의 최소값을 기반으로 한 모델 선택(
• MRDR 보상 예측기와 DRs-upper 추정기를 조합하면 110개 조건 중 57개에서 유일하게 최고 성능을 기록하지만, 이는 올바른 수축 전략과의 조합이 이루어졌을 때에만 가능하며, 추정기 구성 요소 간의 정렬이 중요함을 시사한다.
• 소규모 데이터 환경에서는 DRs-upper 추정기와 낙관적 수축 전략, 최적의 모델 선택을 조합한 결과가 모든 다른 방법보다 뛰어나며, 가장 도전적인 시나리오에서 정규화된 MSE가 다음으로 좋은 방법보다 40% 낮아졌다.