[论文解读] IntelligentCrowd: Mobile Crowdsensing via Multi-Agent Reinforcement Learning

Yize Chen, Hao Wang|arXiv (Cornell University)|Sep 20, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 24被引用 4

一句话总结

该论文提出 IntelligentCrowd，一种多智能体强化学习（MARL）框架，使移动众包参与者能够在不确定、动态的环境中自主学习最优感知策略。通过将用户交互建模为去中心化的多智能体马尔可夫决策过程，该算法使每个用户仅依赖本地观测即可最大化自身收益，在各种感知动态的仿真中，其收益显著优于基线方法。

ABSTRACT

The prosperity of smart mobile devices has made mobile crowdsensing (MCS) a promising paradigm for completing complex sensing and computation tasks. In the past, great efforts have been made on the design of incentive mechanisms and task allocation strategies from MCS platform's perspective to motivate mobile users' participation. However, in practice, MCS participants face many uncertainties coming from their sensing environment as well as other participants' strategies, and how do they interact with each other and make sensing decisions is not well understood. In this paper, we take MCS participants' perspective to derive an online sensing policy to maximize their payoffs via MCS participation. Specifically, we model the interactions of mobile users and sensing environments as a multi-agent Markov decision process. Each participant cannot observe others' decisions, but needs to decide her effort level in sensing tasks only based on local information, e.g., its own record of sensed signals' quality. To cope with the stochastic sensing environment, we develop an intelligent crowdsensing algorithm IntelligentCrowd by leveraging the power of multi-agent reinforcement learning (MARL). Our algorithm leads to the optimal sensing policy for each user to maximize the expected payoff against stochastic sensing environments, and can be implemented at individual participant's level in a distributed fashion. Numerical simulations demonstrate that IntelligentCrowd significantly improves users' payoffs in sequential MCS tasks under various sensing dynamics.

研究动机与目标

• 解决移动众包中参与者面临随机感知环境和他人互动不确定性时的去中心化决策挑战。
• 开发一种可扩展的分布式学习算法，使个体用户在不完全掌握他人行为的情况下优化其感知努力。
• 在质量信息（QoI）动态变化（包括正弦、线性、马尔可夫及混合模式）下，最大化个体参与者的收益。
• 通过在实时感知环境中建模合作性多智能体交互，克服平台中心化激励机制和单智能体强化学习的局限性。
• 证明多智能体强化学习（MARL）在收益表现和动态感知条件下鲁棒性方面优于模型预测控制（MPC）和单智能体强化学习。

提出的方法

• 将移动众包环境建模为多智能体马尔可夫决策过程（MAMP），其中每个智能体基于本地观测行动，并旨在最大化自身期望累积奖励。
• 采用独立智能体的演员-critic网络实现集中式训练、去中心化执行（CTDE）框架，实现在无完全可观测性条件下的协同学习。
• 在 MARL 框架中结合深度 Q 学习与策略梯度方法，以根据本地信号质量与历史数据学习最优感知努力水平。
• 引入对过去感知状态的记忆（可配置长度 K），以捕捉信号质量中的时间相关性，提升在动态 QoI 条件下的决策能力。
• 使用评论家网络估计价值函数并指导策略更新，使智能体通过共享奖励信号隐式协调。
• 在推理阶段以完全去中心化方式训练系统，每个智能体仅基于自身本地状态和学习到的策略做出决策。

实验结果

研究问题

• RQ1 在存在随机感知环境和对他人行为信息不完全的情况下，移动众包参与者如何学习最优感知策略？
• RQ2 在动态、不确定的感知环境中，使用多智能体强化学习相较于单智能体强化学习或模型预测控制（MPC）的性能增益如何？
• RQ3 过去感知状态的记忆长度如何影响学习效率与个体参与者的收益表现？
• RQ4 去中心化 MARL 方法是否能在顺序性移动众包任务中实现高于集中式或独立学习基线的个体收益？
• RQ5 该算法在正弦、线性、马尔可夫及混合模式等多种质量信息（QoI）动态下的表现如何？

主要发现

• IntelligentCrowd 在所有 QoI 动态下均实现了最高的平均累积奖励，当记忆长度 K=50 时，在线性动态下达到峰值收益 50.01。
• 在混合动态下，IntelligentCrowd 实现了 36.91 的平均收益，显著优于 MPC（-43.52）和单智能体 RL（11.95），表明其在复杂、非平稳环境中的鲁棒性。
• 该算法在 10–20 个训练回合内收敛至稳定且高收益的策略，4 智能体与 8 智能体系统在奖励分布上均表现出一致的收敛性。
• 当 K=50 时，该算法在所有动态下均达到最优性能，表明对过去状态的更长记忆有助于学习信号质量中的时间模式。
• 与表现欠佳的 MPC（尤其在混合动态下）相比，IntelligentCrowd 凭借无需依赖不准确系统模型即可学习合作策略的能力，展现出更优的适应性。
• 即使采用长记忆（K=100）的单智能体 RL 仍表现逊于 MARL，凸显了在多参与者感知任务中智能体间协调的重要性。