[논문 리뷰] Off-Policy Risk Assessment in Contextual Bandits

Audrey Huang, Liu Leqi외 2명|arXiv (Cornell University)|2021. 04. 18.

Advanced Bandit Algorithms Research참고 문헌 60인용 수 11

한 줄 요약

이 논문은 로그된 데이터를 사용하여 맥락적 밴디트에서 넓은 범위의 위험 민감 목표—예를 들어, CVaR, 분산, 평균-분산—을 추정하기 위한 프레임워크인 오프-폴리시 리스크 평가(OPRA)를 소개한다. 누적분포함수(CDF)를 추정하고 리프시츠 위험 함수에 대한 플러그인 추정기를 적용함으로써 OPRA는 모든 이러한 위험에 대해 균일한 유한표본 보장을 제공하며, 중요도 샘플링 또는 双중 강건 추정기를 사용할 경우 오차 한계가 $O(1/\sqrt{n})$ 속도로 수렴한다.

ABSTRACT

Even when unable to run experiments, practitioners can evaluate prospective policies, using previously logged data. However, while the bandits literature has adopted a diverse set of objectives, most research on off-policy evaluation to date focuses on the expected reward. In this paper, we introduce Lipschitz risk functionals, a broad class of objectives that subsumes conditional value-at-risk (CVaR), variance, mean-variance, many distorted risks, and CPT risks, among others. We propose Off-Policy Risk Assessment (OPRA), a framework that first estimates a target policy's CDF and then generates plugin estimates for any collection of Lipschitz risks, providing finite sample guarantees that hold simultaneously over the entire class. We instantiate OPRA with both importance sampling and doubly robust estimators. Our primary theoretical contributions are (i) the first uniform concentration inequalities for both CDF estimators in contextual bandits and (ii) error bounds on our Lipschitz risk estimates, which all converge at a rate of $O(1/\sqrt{n})$.

연구 동기 및 목표

• 기대 보상 이외의 오프-폴리시 평가에 대한 격차, 특히 맥락적 밴디트에서의 위험 민감 목표에 대해 해결한다.
• CVaR, 분산, 평균-분산을 포함한 광범위한 위험 함수를 추정할 수 있는 통합된 프레임워크를 개발한다.
• 동일한 데이터 분포 하에서 모든 리프시츠 위험 함수에 대해 균일하게 성립하는 유한표본 이론적 보장을 제공한다.
• 랜덤화 실험을 수행할 수 없는 실제 응용 분야에서 실용적인 리스크 평가를 가능하게 한다.

제안 방법

• CVaR, 분산, 평균-분산, 누적선수이론(CPT) 위험을 포함하는 리프시츠 위험 함수를 일반적인 위험 목표 클래스로 도입한다.
• OPRA를 제안하며, 먼저 로그된 맥락적 밴디트 데이터로부터 대상 정책의 보상 CDF를 추정한다.
• 추정된 CDF를 사용하여 임의의 리프시츠 위험 함수에 대한 플러그인 추정기를 생성함으로써 이 클래스 전반에 걸쳐 균일한 오차 제어를 보장한다.
• 추정 안정성을 향상시키기 위해 중요도 샘플링 및 이중 강건 추정기를 모두 활용하여 OPRA를 구현한다.
• 맥락적 밴디트에서 CDF 추정기의 균일한 농도 부등식을 유도하며, 이는 새로운 이론적 기여이다.
• 약한 정규성 조건 하에서 모든 리프시츠 위험 추정에 대해 $O(1/\sqrt{n})$ 오차 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 맥락적 밴디트에서 기대 보상 이외의 위험 민감 목표를 지원하는 통합 오프-폴리시 평가 프레임워크를 개발할 수 있는가?
• RQ2 오프-폴리시 설정 하에서 맥락적 밴디트에서 CDF 추정에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ3 CVaR 및 분산을 포함한 광범위한 위험 함수 클래스에 대해 균일한 유한표본 오차 한계를 확보할 수 있는가?
• RQ4 이러한 맥락에서 중요도 샘플링 및 이중 강건 추정에 대해 리스크 추정의 수렴 속도는 어떻게 되는가?
• RQ5 이 프레임워크는 누적선수이론에서 유도된 복잡한 리스크 지표에 적용될 수 있는가?

주요 결과

• 논문은 맥락적 밴디트에서 CDF 추정기의 첫 번째 균일한 농도 부등식을 확립하여 신뢰할 수 있는 리스크 추정을 가능하게 한다.
• OPRA 내 모든 리프시츠 리스크 추정은 $O(1/\sqrt{n})$ 수렴 속도를 확보하며, 이는 평균 추정의 최적 속도와 일치한다.
• 이 프레임워크는 조건부 가치의 위험(CVaR), 분산, 평균-분산, CPT 위험을 포함한 광범위한 리스크 함수를 지원한다.
• OPRA는 모든 리프시츠 리스크 함수 클래스에 대해 균일하게 성립하는 유한표본 오차 한계를 제공한다.
• 중요도 샘플링 및 이중 강건 추정기를 사용할 경우 이론적 보장이 유지되어 모델 잘못 설정에 대한 강건성을 향상시킨다.
• 이 방법은 랜덤화 실험을 수행할 수 없는 실제 환경에서 리스크 인식 정책 평가를 가능하게 한다.