[论文解读] Learning-based decentralized offloading decision making in an adversarial environment

Byungjin Cho, Yu Xiao|arXiv (Cornell University)|Apr 26, 2021

Privacy-Preserving Technologies in Data参考文献 42被引用 7

一句话总结

本文提出了一种基于学习的车辆雾计算去中心化卸载算法，利用对抗性多臂赌博机理论，在动态、不确定条件下优化雾节点选择。通过引入与输入大小相关的选择机制和自适应评分修补策略，该算法在资源供需波动的对抗性环境中实现了低遗憾和鲁棒性能，与基线方法相比，平均每位比特成本最高降低30%。

ABSTRACT

Vehicular fog computing (VFC) pushes the cloud computing capability to the distributed fog nodes at the edge of the Internet, enabling compute-intensive and latency-sensitive computing services for vehicles through task offloading. However, a heterogeneous mobility environment introduces uncertainties in terms of resource supply and demand, which are inevitable bottlenecks for the optimal offloading decision. Also, these uncertainties bring extra challenges to task offloading under the oblivious adversary attack and data privacy risks. In this article, we develop a new adversarial online learning algorithm with bandit feedback based on the adversarial multi-armed bandit theory, to enable scalable and low-complexity offloading decision making. Specifically, we focus on optimizing fog node selection with the aim of minimizing the offloading service costs in terms of delay and energy. The key is to implicitly tune the exploration bonus in the selection process and the assessment rules of the designed algorithm, taking into account volatile resource supply and demand. We theoretically prove that the input-size dependent selection rule allows to choose a suitable fog node without exploring the sub-optimal actions, and also an appropriate score patching rule allows to quickly adapt to evolving circumstances, which reduce variance and bias simultaneously, thereby achieving a better exploitation-exploration balance. Simulation results verify the effectiveness and robustness of the proposed algorithm.

研究动机与目标

• 解决在资源供需波动的条件下，车辆雾计算中去中心化任务卸载的挑战。
• 在不依赖集中协调的情况下，最小化卸载服务成本——特别是延迟和能耗。
• 在对抗性、非平稳环境中实现实时决策中的探索与利用平衡。
• 仅通过赌博机反馈实现可扩展的、低复杂度的卸载决策，避免完整状态信息交换。
• 提升对候选雾节点可用性及任务大小动态变化的对抗性变化的鲁棒性。

提出的方法

• 将雾节点选择建模为对抗性多臂赌博机问题，将每个潜在的VFN视为一个臂。
• 提出一种与输入大小相关的选择规则，以减少对次优动作的探索。
• 采用动态评分修补规则，快速适应环境条件的变化。
• 利用赌博机反馈学习卸载成本（延迟和能耗），而无需完整状态观测。
• 设计一种学习算法，在最小化遗憾的同时平衡利用与探索。
• 理论分析证明，该方法在不确定性条件下可降低决策中的方差与偏差。

实验结果

研究问题

• RQ1 在资源信息有限的动态对抗性车辆雾计算环境中，如何优化去中心化任务卸载？
• RQ2 当资源可用性和任务需求波动时，何种机制可实现有效的探索-利用权衡？
• RQ3 基于学习的方法是否可在无集中协调或完整状态知识的情况下实现低遗憾与低每位比特成本？
• RQ4 输入大小依赖性如何提升决策准确性并减少不必要的探索？
• RQ5 自适应评分修补在多大程度上增强了对环境变化的响应能力？

主要发现

• 与UCB和Exp3IX相比，所提算法在高VFN密度的非高峰高速公路场景中，平均每位比特成本最高降低30%。
• 在高峰交通场景中，与UCB相比，平均每位比特成本降低23%；与部分重置的波动性Exp3IX相比，降低10%。
• 该算法在不同任务大小和动态VFN可用性条件下均保持鲁棒性能，展现出强大的适应能力。
• 理论分析证实，输入大小依赖的选择规则可避免对次优动作的探索，提升效率。
• 评分修补规则可加快对环境变化的适应，降低决策中的偏差与方差。
• 仿真结果表明，性能随加权参数ξ的变化呈现平滑的退化或提升趋势，表明可调节延迟与能耗成本之间的权衡。