[论文解读] Distributional Robust Batch Contextual Bandits.

Nian Si, Fan Zhang+2 more|arXiv (Cornell University)|Jun 10, 2020

Advanced Bandit Algorithms Research参考文献 79被引用 6

一句话总结

本文提出了一种分布鲁棒的批量上下文Bandit算法，通过使用不完整的观测数据，学习对对抗性协变量偏移和未知分布偏移具有鲁棒性的策略。通过结合模糊环境下的策略评估与基于一致收敛的保证，该方法在合成数据和真实世界场景中均表现出鲁棒性能，即使部署分布与训练数据不同亦然。

ABSTRACT

Policy learning using historical observational data is an important problem that has found widespread applications. Examples include selecting offers, prices, advertisements to send to customers, as well as selecting which medication to prescribe to a patient. However, existing literature rests on the crucial assumption that the future environment where the learned policy will be deployed is the same as the past environment that has generated the data--an assumption that is often false or too coarse an approximation. In this paper, we lift this assumption and aim to learn a distributional robust policy with incomplete (bandit) observational data. We propose a novel learning algorithm that is able to learn a robust policy to adversarial perturbations and unknown covariate shifts. We first present a policy evaluation procedure in the ambiguous environment and then give a performance guarantee based on the theory of uniform convergence. Additionally, we also give a heuristic algorithm to solve the distributional robust policy learning problems efficiently. Finally, we demonstrate the robustness of our methods in the synthetic and real-world datasets.

研究动机与目标

• 解决现有上下文Bandit方法假设训练与部署分布相同的局限性。
• 开发一种在未知或对抗性协变量偏移下仍有效的策略学习框架。
• 基于一致收敛理论，为模糊环境下的策略评估提供理论性能保证。
• 设计一种高效启发式算法，用于实际的分布鲁棒策略学习。
• 在分布偏移下，于合成与真实世界数据集上验证方法的鲁棒性。

提出的方法

• 提出一种考虑测试环境中分布模糊性的策略评估方法。
• 利用一致收敛理论，推导在数据分布遭受对抗性扰动时的性能保证。
• 制定一种分布鲁棒优化目标，以学习对未知协变量偏移具有不变性的策略。
• 引入一种启发式算法，以高效求解批量设置下的鲁棒策略学习问题。
• 使用观测数据（Bandit数据），其中仅可观测到动作与结果，而非完整的上下文-动作轨迹。
• 应用模糊集以建模潜在的分布偏移，从而实现对未见数据偏移的鲁棒性。

实验结果

研究问题

• RQ1 能否使上下文Bandit策略对部署环境中未知或对抗性的分布偏移具有鲁棒性？
• RQ2 当测试分布模糊或与训练分布不同时，如何可靠地进行策略评估？
• RQ3 在Bandit反馈下，分布鲁棒策略学习可提供何种理论保证？
• RQ4 在具有不完整观测数据的批量设置中，鲁棒策略可多高效地学习？
• RQ5 在真实与合成环境中，当存在分布偏移时，所提方法是否优于标准基线？

主要发现

• 所提出的策略评估方法在分布模糊性下可提供可靠的性能估计。
• 基于一致收敛的理论保证确保了对数据分布对抗性扰动的鲁棒性。
• 启发式算法实现了在批量上下文Bandit设置中高效学习鲁棒策略。
• 在合成与真实世界数据集上的实证结果证实了该方法在协变量偏移下的鲁棒性。
• 当部署分布偏离训练数据时，该方法优于标准上下文Bandit基线。
• 即使偏移较大或为对抗性时，该方法仍保持强劲性能，展现出实际的抗扰能力。