[论文解读] Exploration vs Exploitation vs Safety: Risk-averse Multi-Armed Bandits

Nicolas Galichet, Michèle Sébag+1 more|arXiv (Cornell University)|Jan 6, 2014

Advanced Bandit Algorithms Research参考文献 18被引用 54

一句话总结

本文提出 MaRaB，一种风险感知的多臂赌博机算法，根据其条件风险价值（CVaR）选择动作，以平衡探索、利用与安全性。理论上建立了 MIN 算法（MaRaB 在 α→0 时的特例）的对数 regret，实证表明 MaRaB 在仅带来适度 regret 增加的情况下显著减少了高风险探索，尤其在高方差和真实世界能源管理场景中表现优异。

ABSTRACT

Motivated by applications in energy management, this paper presents the Multi-Armed Risk-Aware Bandit (MARAB) algorithm. With the goal of limiting the exploration of risky arms, MARAB takes as arm quality its conditional value at risk. When the user-supplied risk level goes to 0, the arm quality tends toward the essential infimum of the arm distribution density, and MARAB tends toward the MIN multi-armed bandit algorithm, aimed at the arm with maximal minimal value. As a first contribution, this paper presents a theoretical analysis of the MIN algorithm under mild assumptions, establishing its robustness comparatively to UCB. The analysis is supported by extensive experimental validation of MIN and MARAB compared to UCB and state-of-art risk-aware MAB algorithms on artificial and real-world problems.

研究动机与目标

• 解决在能源管理与机器人等高风险环境中平衡探索、利用与安全性的挑战。
• 开发一种多臂赌博机算法，通过优先选择尾部分布有利的动作来最小化风险。
• 在温和假设下，理论分析 MIN 算法（最大化最小奖励）的鲁棒性。
• 在人工与真实世界问题上，实证验证 MaRaB 相较于 UCB 与最先进风险感知算法的性能。
• 证明通过 CVaR 进行风险感知选择可降低极端损失暴露，而不会带来过高的 regret。

提出的方法

• MaRaB 算法根据用户定义置信水平 α 下的条件风险价值（CVaR）选择动作，CVaR 表示结果最差 α 分位数中的期望奖励。
• 当 α 趋近于 0 时，MaRaB 收敛于 MIN 算法，该算法选择最小奖励最高的动作，从而在最坏情况下确保安全性。
• 理论分析表明，在温和假设下（包括奖励分布在其最小值附近有界），MIN 算法可实现对数累积 regret。
• 实证评估在具有不同方差的人工问题与一个真实世界的电池管理任务中，将 MaRaB 与 UCB、MV-LCB、ExpExp 及其他风险感知算法进行比较。
• 该算法使用 CVaR 的经验估计，并引入类似 UCB 的置信上界探索项，参数为 C，但按风险敏感度加权。
• 为真实世界验证，建立了一个包含 20 种预定义策略的电池管理问题，奖励从真实需求数据中采样，性能通过累积 regret 和最坏情况分位数的奖励分布进行衡量。

实验结果

研究问题

• RQ1 能否设计一种多臂赌博机算法，显式平衡高风险环境中的探索、利用与安全性？
• RQ2 在温和的分布假设下，选择最小奖励最高的动作的 MIN 算法是否能实现对数 regret？
• RQ3 与 UCB 及其他风险感知算法相比，MaRaB 通过 CVaR 实现风险感知选择，在 regret 和风险规避方面表现如何？
• RQ4 风险水平 α 对 MaRaB 在不同方差水平和时间跨度下的性能有何影响？
• RQ5 MaRaB 是否能在多样化环境中保持稳健性能，包括具有随机需求的真实世界能源管理任务？

主要发现

• 在温和假设下（包括奖励分布在其最小值附近有界），MIN 算法可实现对数累积 regret，且当与最小值相关的裕度超过与均值相关的裕度时，其 regret 速率优于 UCB。
• 与 UCB 和 ExpExp 相比，MaRaB 显著减少了对重尾或高风险分布动作的探索，尤其在高方差场景中表现突出。
• 在人工问题中，MaRaB 对超参数 C 和 α 具有鲁棒性，在不同风险水平下表现一致，尤其在 α < 20% 时表现更优。
• 在真实世界的电池管理任务中，MaRaB 的累积 regret 低于 MV-LCB 和 ExpExp，且在最坏情况奖励分位数中表现更优。
• ExpExp 由于设有专门的探索阶段，表现出极高风险规避，但在探索阶段导致线性 regret 增长，而 MaRaB 通过将风险意识整合到选择规则中避免了此问题。
• 与 UCB 的最优性能相比，MaRaB 仅带来适度的 regret 增加，同时在高方差和真实世界场景中展现出更优的安全性与鲁棒性。