[논문 리뷰] Distributional Robust Batch Contextual Bandits.

Nian Si, Fan Zhang외 2명|arXiv (Cornell University)|2020. 06. 10.

Advanced Bandit Algorithms Research참고 문헌 79인용 수 6

한 줄 요약

이 논문은 관측 데이터가 불완전한 상황에서 분포적으로 강건한 배치 연속적 bandit 알고리즘을 제안한다. 이 알고리즘은 적대적 공변수 이동과 알려지지 않은 분포 이동에 강건한 정책을 학습한다. 불확실성 하에서의 정책 평가와 균일 수렴 기반 보장을 조합함으로써, 학습 데이터와 배포 분포가 다를 경우에도 합성 및 실세계 환경에서 강건한 성능을 달성한다.

ABSTRACT

Policy learning using historical observational data is an important problem that has found widespread applications. Examples include selecting offers, prices, advertisements to send to customers, as well as selecting which medication to prescribe to a patient. However, existing literature rests on the crucial assumption that the future environment where the learned policy will be deployed is the same as the past environment that has generated the data--an assumption that is often false or too coarse an approximation. In this paper, we lift this assumption and aim to learn a distributional robust policy with incomplete (bandit) observational data. We propose a novel learning algorithm that is able to learn a robust policy to adversarial perturbations and unknown covariate shifts. We first present a policy evaluation procedure in the ambiguous environment and then give a performance guarantee based on the theory of uniform convergence. Additionally, we also give a heuristic algorithm to solve the distributional robust policy learning problems efficiently. Finally, we demonstrate the robustness of our methods in the synthetic and real-world datasets.

연구 동기 및 목표

• 기존의 연속적 bandit 방법이 학습 및 배포 분포가 동일하다는 가정을 갖는 한계를 해결한다.
• 알 수 없는 또는 적대적인 공변수 이동 상황에서도 효과적인 정책 학습 프레임워크를 개발한다.
• 균일 수렴 기반 보장으로 불확실한 환경에서의 정책 평가에 대한 이론적 성능 보장을 제공한다.
• 실제 응용을 위해 효율적인 히우리스틱 알고리즘을 설계한다.
• 합성 및 실세계 데이터셋에서 분포 이동 상황에서도 강건함을 입증한다.

제안 방법

• 시험 환경의 분포 모호성에 대응하는 정책 평가 절차를 제안한다.
• 균일 수렴 이론을 활용하여 데이터 분포의 적대적 변형 상황에서도 성능 보장을 유도한다.
• 알 수 없는 공변수 이동에 강건한 정책을 얻기 위해 분포적으로 강건한 최적화 목표를 설정한다.
• 배치 설정에서 강건한 정책 학습 문제를 효율적으로 해결하기 위한 히우리스틱 알고리즘을 도입한다.
• 전체 컨텍스트-행동 경로가 아닌, 행동과 결과만 관측되는 관측 데이터(밴딧 데이터)를 사용한다.
• 모호성 집합을 도입하여 잠재적인 분포 이동을 모델링하고, 예측 불가능한 데이터 이동에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 배포 환경에서 알려지지 않은 또는 적대적인 분포 이동에 강건한 연속적 bandit 정책를 설계할 수 있는가?
• RQ2 시험 분포가 모호하거나 학습 분포와 다를 경우 정책 평가를 어떻게 신뢰성 있게 수행할 수 있는가?
• RQ3 밴딧 피드백 하에서 분포적으로 강건한 정책 학습에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 불완전한 관측 데이터를 가진 배치 설정에서 강건한 정책을 얼마나 효율적으로 학습할 수 있는가?
• RQ5 제안된 방법이 합성 및 실세계 환경에서 분포 이동 상황에서 표준 베이스라인을 초월하는가?

주요 결과

• 제안된 정책 평가 절차는 분포 모호성 하에서도 신뢰할 수 있는 성능 추정을 제공한다.
• 균일 수렴 기반 이론적 보장은 데이터 분포의 적대적 변형에 대한 강건성을 보장한다.
• 히우리스틱 알고리즘이 배치 연속적 bandit 설정에서 강건한 정책 학습을 효율적으로 가능하게 한다.
• 합성 및 실세계 데이터셋에 대한 실험 결과는 공변수 이동 상황에서도 방법의 강건성을 확인한다.
• 배포 분포가 학습 데이터와 다를 경우 표준 연속적 bandit 베이스라인보다 성능이 뛰어나다.
• 크거나 적대적인 이동이 발생하더라도 방법은 강력한 성능 유지를 보이며 실용적 내성성을 입증한다.