[论文解读] Learning to Route Efficiently with End-to-End Feedback: The Value of Networked Structure

Ruihao Zhu, Eytan Modiano|arXiv (Cornell University)|Oct 24, 2018

Advanced Bandit Algorithms Research参考文献 31被引用 3

一句话总结

该论文针对具有端到端反馈的随机在线最短路径问题，提出了自适应路由算法，利用网络结构实现了近乎最优的遗憾。通过引入Top-Two Comparison（TTC）技术，该方法在大规模网络中高效平衡了探索与利用，其遗憾和计算效率均优于以往方法。

ABSTRACT

We introduce efficient algorithms which achieve nearly optimal regrets for the problem of stochastic online shortest path routing with end-to-end feedback. The setting is a natural application of the combinatorial stochastic bandits problem, a special case of the linear stochastic bandits problem. We show how the difficulties posed by the large scale action set can be overcome by the networked structure of the action set. Our approach presents a novel connection between bandit learning and shortest path algorithms. Our main contribution is an adaptive exploration algorithm with nearly optimal instance-dependent regret for any directed acyclic network. We then modify it so that nearly optimal worst case regret is achieved simultaneously. Driven by the carefully designed Top-Two Comparison (TTC) technique, the algorithms are efficiently implementable. We further conduct extensive numerical experiments to show that our proposed algorithms not only achieve superior regret performances, but also reduce the runtime drastically.

研究动机与目标

• 解决在未知且随机演化的链路延迟下，仅具有端到端反馈的在线最短路径路由挑战。
• 克服传统多臂赌博机算法在具有指数级路径数的大规模网络中计算不可行的问题。
• 设计能够利用动作集网络结构以降低探索复杂度的遗憾最优算法。
• 通过自适应探索同时实现近乎最优的实例相关遗憾和最坏情况遗憾。
• 设计一种计算高效的算法，适用于大规模叠加网络中的实时部署。

提出的方法

• 针对可识别网络提出EC算法，引入一种新颖的Top-Two Comparison（TTC）机制以指导自适应探索。
• 利用动作集的网络结构（DAG中的路径）避免暴力枚举所有路径，降低计算成本。
• 设计自适应TTC算法，通过动态比较候选最优路径，实现近乎最优的实例相关遗憾。
• 将TTC框架扩展至MTTC算法，以同时实现近乎最优的最坏情况遗憾。
• 利用路径延迟的线性结构（链路延迟之和），将问题建模为具有赌博机反馈的组合式随机赌博机问题。
• 通过路径延迟的置信区间，应用面对不确定性时的乐观原则（OFU），反馈信息来自端到端观测。

实验结果

研究问题

• RQ1 是否可以利用网络结构，在大规模随机在线最短路径问题中设计出高效的遗憾最优路由算法？
• RQ2 在仅具有端到端反馈、无单个链路延迟观测的情况下，如何实现自适应探索？
• RQ3 在赌博机反馈设置下，能否同时实现近乎最优的实例相关遗憾和最坏情况遗憾？
• RQ4 在具有指数级路径数的网络中，实现最优遗憾的计算成本是多少？
• RQ5 与标准UCB或路径选择中的穷举搜索相比，TTC技术在遗憾和运行时间方面有何改进？

主要发现

• 所提出的基于TTC的算法在任意有向无环网络中均实现了近乎最优的实例相关遗憾，显著优于以往方法。
• MTTC算法同时实现了近乎最优的最坏情况遗憾与实例相关遗憾，解决了以往工作中的关键局限。
• 由于采用了Top-Two Comparison（TTC）技术，算法可高效实现，避免了NP难优化问题。
• 数值实验表明，与现有方法相比，所提算法显著降低了运行时间，同时实现了更优的遗憾性能。
• 动作集的网络结构支持可扩展学习，使该方法在具有隐藏链路延迟的大规模叠加网络中具有实际可行性。
• 该方法优于基于UCB的算法，后者在路径数量上呈线性扩展，尤其在具有指数级路径数的网络中表现更优。