[论文解读] CCN Interest Forwarding Strategy as Multi-Armed Bandit Model with Delays

Konstantin Avrachenkov, Peter Jacko|arXiv (Cornell University)|Apr 2, 2012

Advanced Bandit Algorithms Research参考文献 18被引用 7

一句话总结

本文提出了一种带有延迟的多臂赌博机（MAB）框架，用于内容中心网络（CCN）中的兴趣转发，将路由器选择建模为一个序列决策问题。结果表明，经过调优的ε-贪婪算法在极小探索量下实现了对数 regret，仅需极短的初始阶段，其性能几乎与最优的UCB算法相当，即使在延迟反馈下也成立。

ABSTRACT

We consider Content Centric Network (CCN) interest forwarding problem as a Multi-Armed Bandit (MAB) problem with delays. We investigate the transient behaviour of the $\eps$-greedy, tuned $\eps$-greedy and Upper Confidence Bound (UCB) interest forwarding policies. Surprisingly, for all the three policies very short initial exploratory phase is needed. We demonstrate that the tuned $\eps$-greedy algorithm is nearly as good as the UCB algorithm, the best currently available algorithm. We prove the uniform logarithmic bound for the tuned $\eps$-greedy algorithm. In addition to its immediate application to CCN interest forwarding, the new theoretical results for MAB problem with delays represent significant theoretical advances in machine learning discipline.

研究动机与目标

• 为解决在带宽或成本约束下CCN中高效兴趣转发的挑战。
• 将兴趣转发问题建模为带有延迟奖励的多臂赌博机（MAB）问题。
• 分析在延迟反馈下ε-贪婪、调优后的ε-贪婪和UCB算法的瞬态行为。
• 在存在延迟的情况下，为调优后的ε-贪婪算法建立理论性能边界。
• 证明在CCN中仅需极短的初始探索阶段即可实现有效学习。

提出的方法

• 将CCN兴趣转发形式化为带有延迟反馈的随机MAB问题，其中奖励（内容交付）在随机延迟后被观测到。
• 应用三种标准MAB算法：ε-贪婪、调优后的ε-贪婪和上置信界（UCB），并针对延迟观测进行调整。
• 采用离散时间模型，每个时间槽仅允许向单个邻居路由器发送一个兴趣。
• 将交付延迟建模为具有已知分布F_k(x)的独立同分布随机变量，每个路由器k的支撑集为[1, D]。
• 通过数值模拟和基于正态分布的解析近似，分析初始探索阶段。
• 证明在延迟反馈下，调优后的ε-贪婪算法中选择次优路由器的概率具有统一的对数边界。

实验结果

研究问题

• RQ1 延迟反馈如何影响标准MAB算法在CCN兴趣转发中的性能？
• RQ2 在延迟反馈下，ε-贪婪和调优后的ε-贪婪算法的初始探索阶段最优长度是多少？
• RQ3 在存在延迟奖励的情况下，调优后的ε-贪婪算法能否实现对数 regret，从而达到与UCB相当的性能？
• RQ4 在收敛速度方面，轮询策略与初始探索阶段的随机选择相比如何？
• RQ5 在MAB框架中，延迟反馈下调优后的ε-贪婪算法可建立哪些理论保证？

主要发现

• 调优后的ε-贪婪算法实现了与时间对数成正比的 regret 边界，与UCB算法的最佳已知性能一致。
• 实现有效学习所需的初始探索阶段极短——在数值示例中，仅需68个时间槽即可使选择最优路由器的概率超过95%。
• 初始阶段后选择最佳路由器的概率可通过标准正态分布的累积分布函数近似，且在轮询探索下可获得更紧的边界。
• 调优后的ε-贪婪算法的理论边界表明，次优选择的瞬时概率随t增大而以O(1/t)的速率衰减，表明收敛效率高。
• 延迟导致的性能退化极小；即使反馈延迟高达D=15个时隙，算法仍保持高效。
• 结果表明，每个路由器仅需一次观测即可实现高性能，这与“需要长时间探索”的直觉相矛盾。