[论文解读] Crowdsensing Game with Demand Uncertainties: A Deep Reinforcement Learning Approach

Yufeng Zhan, Yuanqing Xia+3 more|arXiv (Cornell University)|Dec 8, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 34被引用 4

一句话总结

本文提出了一种基于深度强化学习（DRL）的动态激励机制，用于应对需求不确定性与隐私信息约束下的移动众包感知。通过将感知平台（SP）与移动用户（MUs）建模为斯塔克尔伯格博弈，证明了斯塔克尔伯格均衡（SE）的存在性与唯一性，并使SP能够通过DRL学习最优定价策略，而无需事先掌握MU的私有信息，显著提升了在不确定性条件下的系统性能。

ABSTRACT

Currently, explosive increase of smartphones with powerful built-in sensors such as GPS, accelerometers, gyroscopes and cameras has made the design of crowdsensing applications possible, which create a new interface between human beings and life environment. Until now, various mobile crowdsensing applications have been designed, where the crowdsourcers can employ mobile users (MUs) to complete the required sensing tasks. In this paper, emerging learning-based techniques are leveraged to address crowdsensing game with demand uncertainties and private information protection of MUs. Firstly, a novel economic model for mobile crowdsensing is designed, which takes MUs' resources constraints and demand uncertainties into consideration. Secondly, an incentive mechanism based on Stackelberg game is provided, where the sensing-platform (SP) is the leader and the MUs are the followers. Then, the existence and uniqueness of the Stackelberg Equilibrium (SE) is proven and the procedure for computing the SE is given. Furthermore, a dynamic incentive mechanism (DIM) based on deep reinforcement learning (DRL) approach is investigated without knowing the private information of the MUs. It enables the SP to learn the optimal pricing strategy directly from game experience without any prior knowledge about MUs' information. Finally, numerical simulations are implemented to evaluate the performance and theoretical properties of the proposed mechanism and approach.

研究动机与目标

• 解决移动众包感知系统中移动用户（MUs）面临不确定资源需求和有限设备资源时的激励机制设计挑战。
• 将感知平台（SP）与MUs的互动建模为两阶段斯塔克尔伯格博弈，考虑MUs的资源约束与需求不确定性。
• 在静态博弈设定下，证明斯塔克尔伯格均衡（SE）的存在性与唯一性，从而实现最优定价与资源分配策略。
• 开发一种基于深度强化学习（DRL）的动态激励机制（DIM），使SP能够在不了解MU私有信息的前提下学习最优定价策略。
• 通过数值仿真评估所提机制在不同需求不确定性水平与资源约束下的性能表现。

提出的方法

• 构建一个两阶段斯塔克尔伯格博弈，其中SP作为领导者设定定价策略，MUs作为跟随者基于价格、资源约束与需求不确定性优化感知努力。
• 推导出斯塔克尔伯格均衡（SE）的解析表达式，证明在所提出的经济模型下SE的存在性与唯一性。
• 将动态MCS博弈建模为马尔可夫决策过程（MDP），使SP能够通过深度强化学习（DRL）从博弈经验中学习最优定价策略。
• 采用DRL算法，使SP能够自适应地学习最优定价策略，而无需了解MU的私有信息（如成本或需求参数）。
• 提出一种动态激励机制（DIM），使SP能够通过基于经验的学习实现收益最大化，同时保护MU隐私。
• 通过数值仿真验证理论分析，并评估在不同需求不确定性水平与MU特性下的系统性能。

实验结果

研究问题

• RQ1 如何设计一种激励机制，以有效应对移动众包感知系统中的需求不确定性与资源约束？
• RQ2 在MU需求不确定且资源有限的众包感知博弈中，何种条件可确保斯塔克尔伯格均衡（SE）的存在性与唯一性？
• RQ3 能否设计一种动态激励机制，使感知平台在无法获取移动用户私有信息的情况下，仍能学习最优定价策略？
• RQ4 需求不确定性以及MU成本/资源参数如何影响众包感知系统中感知平台的性能与收益？
• RQ5 与静态或依赖信息的方法相比，基于DRL的动态激励机制在多大程度上提升了系统性能？

主要发现

• 在所提出的静态众包感知博弈中，斯塔克尔伯格均衡（SE）存在且唯一，使SP能够确定最优定价，MUs也能在不确定性下选择最优感知努力。
• SP的最优定价策略随MU成本（$c_n$）和效用增益（$\lambda$）的提高而上升，体现了市场驱动的激励机制。
• 当MU需求不确定性（$\overline{\xi_n}$）增加时，SP必须提高价格，而MUs则减少向SP的资源分配，导致SP收益下降。
• 成本（$c_n$）较低且需求强度（$\delta_n$）较低的MUs更容易被SP招募，尤其是在低价时，因其机会成本更低。
• 基于DRL的动态激励机制使SP能够在不了解MU私有信息的前提下学习最优定价策略，保护隐私的同时维持系统性能。
• 仿真结果证实，需求不确定性显著影响系统性能，不确定性越高，SP收益越低，且对定价要求越高。