[论文解读] Adaptive Shortest-Path Routing under Unknown and Stochastically Varying Link States

Keqin Liu, Qing Zhao|arXiv (Cornell University)|Jan 24, 2012

Advanced Bandit Algorithms Research参考文献 13被引用 32

一句话总结

本文提出了一种针对链路状态未知且随机变化的无线网络的自适应最短路径路由算法，其中仅可观测到总路径成本。通过将问题建模为具有依赖性臂（路径共享链路）的多臂赌博机，该方法在轻尾分布下实现了 $ O(d^3 \tan T) $ 的遗憾，在重尾分布下实现了 $ O(dT^{1/q}) $ 的遗憾，显著优于经典多臂赌博机方法，通过利用链路依赖性，将网络规模的扩展从指数级降低至多项式级。

ABSTRACT

We consider the adaptive shortest-path routing problem in wireless networks under unknown and stochastically varying link states. In this problem, we aim to optimize the quality of communication between a source and a destination through adaptive path selection. Due to the randomness and uncertainties in the network dynamics, the quality of each link varies over time according to a stochastic process with unknown distributions. After a path is selected for communication, the aggregated quality of all links on this path (e.g., total path delay) is observed. The quality of each individual link is not observable. We formulate this problem as a multi-armed bandit with dependent arms. We show that by exploiting arm dependencies, a regret polynomial with network size can be achieved while maintaining the optimal logarithmic order with time. This is in sharp contrast with the exponential regret order with network size offered by a direct application of the classic MAB policies that ignore arm dependencies. Furthermore, our results are obtained under a general model of link-quality distributions (including heavy-tailed distributions) and find applications in cognitive radio and ad hoc networks with unknown and dynamic communication environments.

研究动机与目标

• 设计一种高效的在线学习策略，用于在链路状态未知且随机变化的网络中实现自适应最短路径路由。
• 解决仅可观测端到端路径总成本而非单个链路成本的挑战。
• 在时间范围和网络规模方面最小化遗憾，尤其通过利用通过共享链路关联的路径之间的依赖性。
• 将结果推广至具有紧致动作集的一般随机在线线性优化问题。
• 在保持与网络规模多项式缩放的同时，实现随时间的次线性遗憾，即使在重尾链路成本分布下也成立。

提出的方法

• 将自适应路由问题建模为具有依赖臂的多臂赌博机，其中每条臂对应一个源-目的路径。
• 采用基于时隙周期的结构，其周期长度呈几何级数增长，以平衡探索与利用。
• 构建一个探索序列，包含过去观测次数相对于阈值较小时的时间槽，以确保每条路径都得到充分采样。
• 应用 DSEE（带探索与利用的对偶搜索）框架来估计路径的期望成本，并基于置信区间选择动作。
• 对于重尾分布，使用文献[6]中的偏差界来控制估计误差，并基于矩阶数 $ q $ 推导遗憾界。
• 通过在每个周期内应用最短路径计算，将该方法推广至随机在线线性优化（SOLO）问题，以收敛至最优动作。

实验结果

研究问题

• RQ1 在链路状态未知且随机变化的自适应路由中，是否可以实现网络规模的多项式遗憾，同时保持时间上的对数缩放？
• RQ2 如何利用通过共享链路关联的路径依赖性，以超越经典多臂赌博机策略的效率？
• RQ3 在高阶矩受限的重尾链路成本分布下，可实现何种遗憾界？
• RQ4 所提出的框架能否推广至具有连续动作集的一般随机在线线性优化问题？
• RQ5 在遗憾的网络规模与时间范围缩放之间存在何种性能权衡，以及如何对其进行控制？

主要发现

• 所提出的算法在轻尾链路成本分布下实现了 $ O(d^3 \tan T) $ 的遗憾，其中 $ d $ 为路径集的维度，$ T $ 为时间范围。
• 通过修改探索序列，可将遗憾降低为关于 $ d $ 的线性关系，代价是时间缩放略差，从而实现网络规模与时间范围性能之间的权衡。
• 对于具有 $ q $ 阶矩（$ q > 1 $）的重尾分布，遗憾被限制在 $ O(dT^{1/q}) $，该结果在时间上为次线性，因此意味着时间平均成本收敛至最优路径成本。
• 与忽略路径依赖性的经典多臂赌博机策略的指数级缩放不同，该方法在网络规模上的遗憾为多项式缩放。
• 该框架可推广至随机在线线性优化（SOLO）问题，在轻尾成本下实现 $ O(d^3 T^{2/3} \tan^{1/3} T) $ 的遗憾。
• 该结果适用于一般成本分布，包括重尾分布，并可应用于认知无线电和自组织网络中动态且未知的信道条件。