[论文解读] Learning in A Changing World: Restless Multi-Armed Bandit with Unknown Dynamics

Haoyang Liu, Keqin Liu+1 more|arXiv (Cornell University)|Nov 22, 2010

Advanced Bandit Algorithms Research参考文献 24被引用 6

一句话总结

本文针对具有未知动态特性的随机多臂老虎机（RMAB）问题，提出了一种确定性探索与利用阶段交替的策略（DSEE），其中即使在未被选择时，臂的状态也会持续演化。该策略在已知系统边界条件下实现对数 regret，而在无先验知识时实现近乎对数 regret 的性能，并可扩展至无通信的多玩家去中心化场景，同时保持对数 regret 的阶数。

ABSTRACT

We consider the restless multi-armed bandit (RMAB) problem with unknown dynamics in which a player chooses M out of N arms to play at each time. The reward state of each arm transits according to an unknown Markovian rule when it is played and evolves according to an arbitrary unknown random process when it is passive. The performance of an arm selection policy is measured by regret, defined as the reward loss with respect to the case where the player knows which M arms are the most rewarding and always plays the M best arms. We construct a policy with an interleaving exploration and exploitation epoch structure that achieves a regret with logarithmic order when arbitrary (but nontrivial) bounds on certain system parameters are known. When no knowledge about the system is available, we show that the proposed policy achieves a regret arbitrarily close to the logarithmic order. We further extend the problem to a decentralized setting where multiple distributed players share the arms without information exchange. Under both an exogenous restless model and an endogenous restless model, we show that a decentralized extension of the proposed policy preserves the logarithmic regret order as in the centralized setting. The results apply to adaptive learning in various dynamic systems and communication networks, as well as financial investment.

研究动机与目标

• 解决在臂状态即使在未被选择时也持续演化的系统中自适应学习的挑战，这是经典多臂老虎机模型的关键局限。
• 设计一种在主动臂具有未知马尔可夫动态、被动臂具有任意演化特性的随机 MAB 场景下，平衡探索与利用的策略。
• 在部分系统知识可用的集中式设置下，实现次线性 regret 增长，特别是对数 regret。
• 将策略扩展至无通信的多玩家去中心化场景，保持对数 regret 的阶数。
• 在去中心化场景下，针对外生与内生随机模型，提供 regret 性能的理论保证。

提出的方法

• 设计一种探索与利用阶段交替的策略，其中探索阶段被结构化为按顺序采样所有 N 个臂，以估计其奖励统计特性。
• 采用几何增长的阶段长度，以控制臂切换频率，并在探索成本与学习精度之间实现平衡。
• 在利用阶段，基于前序探索阶段的历史观测结果，选择样本均值奖励最高的臂。
• 控制探索阶段的基数，以确保充分学习臂的排序，同时最小化因切换导致的瞬态损失。
• 通过允许每个玩家独立应用相同的 DSEE 结构而不进行协调，将集中式策略扩展至去中心化场景，确保臂选择之间无干扰。
• 证明去中心化策略通过限制碰撞次数并确保各玩家间充分探索，仍能保持对数 regret 的阶数。

实验结果

研究问题

• RQ1 在臂状态即使在未被选择时也持续演化的随机 MAB 场景下，学习策略能否实现对数 regret？
• RQ2 在随机 MAB 场景中，如何在控制臂切换次数的同时平衡探索与利用，以最小化 regret？
• RQ3 当系统参数无任何先验知识时，所提策略的性能如何？
• RQ4 集中式 DSEE 策略能否在无通信的多玩家共享臂的去中心化场景中扩展，同时保持对数 regret？
• RQ5 在去中心化场景下，外生与内生随机模型中的 regret 性能如何随规模扩展？

主要发现

• 当已知系统参数的任意（但非平凡）边界时，所提 DSEE 策略实现了对数阶 regret。
• 当无系统知识可用时，策略实现了与对数阶任意接近的 regret，表现出对不确定性的强鲁棒性。
• 在去中心化场景下，无论外生或内生随机模型，策略均保持对数阶 regret，确保可扩展至多玩家环境。
• 臂切换次数随时间以对数阶增长，有助于减少状态转换期间的瞬态损失。
• 理论分析证实，该策略确保了所有臂的充分探索，同时最小化在次优臂上花费的时间，从而实现向最优性能的快速收敛。
• 研究结果可推广至现实应用，如认知无线电网络中的动态频谱接入与自适应金融投资策略。