[论文解读] Collaborative Multi-Agent Multi-Armed Bandit Learning for Small-Cell Caching

Xianzhe Xu, Meixia Tao+1 more|arXiv (Cornell University)|Jan 12, 2020

Caching and Content Delivery参考文献 34被引用 8

一句话总结

本文提出了一种协作式多智能体多臂赌博机（MAMAB）算法，用于在用户偏好未知的小细胞网络中在线学习最优缓存部署。通过将问题建模为序列式多智能体决策任务，提出了基于智能体的、分布式和边缘计算的MAMAB方案，平衡了协调增益与计算复杂度，在平稳与非平稳环境中均实现了次线性遗憾，且具有理论性能保证。

ABSTRACT

This paper investigates learning-based caching in small-cell networks (SCNs) when user preference is unknown. The goal is to optimize the cache placement in each small base station (SBS) for minimizing the system long-term transmission delay. We model this sequential multi-agent decision making problem in a multi-agent multi-armed bandit (MAMAB) perspective. Rather than estimating user preference first and then optimizing the cache strategy, we propose several MAMAB-based algorithms to directly learn the cache strategy online in both stationary and non-stationary environment. In the stationary environment, we first propose two high-complexity agent-based collaborative MAMAB algorithms with performance guarantee. Then we propose a low-complexity distributed MAMAB which ignores the SBS coordination. To achieve a better balance between SBS coordination gain and computational complexity, we develop an edge-based collaborative MAMAB with the coordination graph edge-based reward assignment method. In the non-stationary environment, we modify the MAMAB-based algorithms proposed in the stationary environment by proposing a practical initialization method and designing new perturbed terms to adapt to the dynamic environment. Simulation results are provided to validate the effectiveness of our proposed algorithms. The effects of different parameters on caching performance are also discussed.

研究动机与目标

• 解决在用户偏好未知时优化小细胞网络中缓存部署的挑战。
• 设计直接优化缓存策略的在线学习算法，无需预先估计文件流行度。
• 在协作缓存中平衡小基站（SBSs）之间的协调增益与计算复杂度。
• 将框架扩展至用户偏好动态变化的非平稳环境。
• 为所提出的基于MAMAB的算法提供理论遗憾边界与性能保证。

提出的方法

• 将小细胞缓存问题建模为多智能体多臂赌博机（MAMAB）问题，其中每个SBS根据用户偏好选择缓存动作。
• 提出高复杂度的基于智能体的协作MAMAB算法，结合扰动上置信界（UCB）与基于协调图的奖励分配，具备理论性能保证。
• 提出一种低复杂度的分布式MAMAB，通过解耦SBS间的协调，降低计算负载，同时保持性能。
• 设计一种基于边缘计算的协作MAMAB，利用协调图根据SBS间依赖关系分配奖励，优化协调与复杂度之间的权衡。
• 通过引入实用的初始化方法与动态扰动项，将算法适配至非平稳环境，以追踪变化的用户偏好。
• 采用Chernoff-Hoeffding不等式与遗憾分析，推导累积遗憾的理论边界，表明遗憾随时间呈次线性增长。

实验结果

研究问题

• RQ1 当用户偏好未知且时变时，如何优化小细胞网络中的缓存部署？
• RQ2 在协作式多智能体缓存中，协调增益与计算复杂度之间的权衡是什么？
• RQ3 基于MAMAB的算法是否能在平稳与非平稳环境中均实现次线性遗憾？
• RQ4 基于协调图的奖励分配相比完全集中式或分布式方法，如何提升性能？
• RQ5 系统参数（如文件流行度、SBS密度与用户移动性）对缓存性能有何影响？

主要发现

• 所提出的基于智能体的协作MAMAB算法实现了次线性遗憾，理论上的上界随总时间跨度T呈O(log T)增长。
• 基于边缘计算的协作MAMAB能有效平衡协调增益与计算复杂度，在性能上优于纯分布式方案，同时保持低开销。
• 在非平稳环境中，引入动态初始化与扰动项的改进MAMAB算法能适应用户偏好的变化，维持低遗憾。
• 仿真结果表明，所提算法相比基准方法（如确定性缓存与非协作MAB）显著降低了长期传输延迟。
• 遗憾边界对最优与次优动作之间的最小差距Δ_min敏感，当Δ_min较大时可获得更紧的边界。
• 算法性能对参数变化具有鲁棒性，基于边缘的方案在不同网络密度与用户移动性模式下均表现出稳定性能。