[논문 리뷰] Sample-efficient Nonstationary Policy Evaluation for Contextual Bandits

Miroslav Dudı́k, Dumitru Erhan외 2명|arXiv (Cornell University)|2012. 10. 16.

Advanced Bandit Algorithms Research참고 문헌 25인용 수 3

한 줄 요약

이 논문은 중요도 가중치, 이중으로 안정적인 추정, 비정상 정책 평가를 통합하는 샘플 효율적인 오프라인 정책 평가 방법을 제안한다. 편향-분산 트레이드오프를 신중하게 조절하고 대상 정책의 난수성을 활용하여 분산을 감소시키고 샘플 효율성을 향상시켜, 최대 한계까지 자료 활용도가 향상된 합성 및 실세계 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

We present and prove properties of a new offline policy evaluator for an exploration learning setting which is superior to previous evaluators. In particular, it simultaneously and correctly incorporates techniques from importance weighting, doubly robust evaluation, and nonstationary policy evaluation approaches. In addition, our approach allows generating longer histories by careful control of a bias-variance tradeoff, and further decreases variance by incorporating information about randomness of the target policy. Empirical evidence from synthetic and realworld exploration learning problems shows the new evaluator successfully unifies previous approaches and uses information an order of magnitude more efficiently.

연구 동기 및 목표

• 제한된 오프라인 데이터에서의 컨텍스트 밴딧 설정에서 정책 평가 문제를 해결하기 위해.
• 다양한 기존 기법들을 융합하여 오프라인 정책 평가의 샘플 효율성을 향상시키기 위해.
• 대상 정책의 난수성을 명시적으로 모델링하여 정책 평가의 분산을 감소시키기 위해.
• 편향-분산 트레이드오프를 통제하여 제한된 데이터에서 더 긴 효과적인 데이터 이력 생성을 가능하게 하기 위해.
• 합성 및 실세계 탐색 학습 문제에서 이전 접근 방식을 통합하고 슈퍼리어리티를 달성하기 위해.

제안 방법

• 오프라인 정책 평가의 정확도를 향상시키고 분산을 감소시키기 위해 중요도 가중치와 이중 안정 추정을 융합한다.
• 시간에 따라 변화하는 행동 정책를 처리하기 위해 비정상 정책 평가 기법을 통합한다.
• 제한된 데이터에서 더 긴 효과적인 데이터 이력을 생성할 수 있도록 허용하는 편향-분산 트레이드오프 메커니즘을 도입한다.
• 평가 추정기의 분산을 추가로 감소시키기 위해 대상 정책의 확률적 성격을 활용한다.
• 중요도 가중치, 이중 안정성, 비정상성의 세 가지 구성 요소를 하나의 통합된 프레임워크에 통합한 유일한 추정기를 구현한다.
• 행동 정책 및 대상 정책 분포를 모두 고려한 수정된 경험 위험 최소화 접근법을 사용한다.

실험 결과

연구 질문

• RQ1 통합된 오프라인 정책 평가 방법이 컨텍스트 밴딧 설정에서 동시에 샘플 효율성을 향상시키고 분산을 감소시킬 수 있는가?
• RQ2 대상 정책의 난수성이 정책 평가 추정기의 분산에 어떤 영향을 미치는가?
• RQ3 편향-분산 트레이드오프를 얼마나 제어할 수 있는가? 제한된 데이터에서 더 긴 효과적인 이력을 생성할 수 있는가?
• RQ4 중요도 가중치, 이중 안정 추정, 비정상 평가를 융합하면 개별 방법보다 일관된 향상이 이루어지는가?
• RQ5 제안된 방법은 합성 및 실세계 컨텍스트 밴딧 문제에서 이전 접근 방식과 비교해 어떻게 성능을 냅니다?

주요 결과

• 제안된 방법은 대상 정책의 난수성을 통합함으로써 기준 방법보다 분산이 크게 낮아진다.
• 합성 및 실세계 실험 모두에서 이전 방법보다 최대 한계까지 자료 활용 효율성이 향상된 결과를 보였다.
• 중요도 가중치나 이중 안정 추정과 같은 개별 기법보다 통합 추정기가 정확성과 안정성 측면에서 뛰어나다.
• 통제된 편향-분산 트레이드오프 덕분에 더 긴 효과적인 이력을 생성할 수 있어 평가 신뢰도가 향상된다.
• 실세계 탐색 학습 문제에 대한 실증 결과는 샘플 효율성과 강건성 측면에서 본 방법의 슈퍼리어리티를 확인한다.
• 평균 제곱오차 및 신뢰구간 커버리지 등 다양한 평가 지표에서 일관된 향상이 관찰되었다.