[论文解读] Coordinating Disaster Emergency Response with Heuristic Reinforcement Learning

Long Nguyen, Zhou Yang+3 more|arXiv (Cornell University)|Nov 12, 2018

Evacuation and Crowd Dynamics参考文献 32被引用 14

一句话总结

该论文提出ResQ，一种基于启发式函数的多智能体强化学习算法，利用社交媒体数据协调灾难期间的志愿者部署。通过启发式函数减少状态-动作空间，ResQ 加快了训练速度，在救援响应时间、奖励率和成本效率方面优于当前最先进方法，在实验中实现了37.9%的奖励率和5.0个时间步的性能表现。

ABSTRACT

A crucial and time-sensitive task when any disaster occurs is to rescue victims and distribute resources to the right groups and locations. This task is challenging in populated urban areas, due to the huge burst of help requests generated in a very short period. To improve the efficiency of the emergency response in the immediate aftermath of a disaster, we propose a heuristic multi-agent reinforcement learning scheduling algorithm, named as ResQ, which can effectively schedule the rapid deployment of volunteers to rescue victims in dynamic settings. The core concept is to quickly identify victims and volunteers from social network data and then schedule rescue parties with an adaptive learning algorithm. This framework performs two key functions: 1) identify trapped victims and rescue volunteers, and 2) optimize the volunteers' rescue strategy in a complex time-sensitive environment. The proposed ResQ algorithm can speed up the training processes through a heuristic function which reduces the state-action space by identifying the set of particular actions over others. Experimental results showed that the proposed heuristic multi-agent reinforcement learning based scheduling outperforms several state-of-art methods, in terms of both reward rate and response times.

研究动机与目标

• 解决在实时、有限且快速变化的社交媒体数据下，协调灾难救援的挑战。
• 克服传统监督学习和收敛缓慢的自适应模型在动态、数据稀缺的灾难环境中的局限性。
• 开发一种可扩展、自适应的调度系统，即使在不确定性和突发高需求下，也能高效匹配志愿者与受害者。
• 通过利用实时社交媒体信号检测受害者和志愿者，改进时间敏感紧急场景下的资源分配。
• 设计一种强化学习框架，使其在灾难响应任务中收敛速度更快，性能优于标准强化学习和基线启发式方法。

提出的方法

• 使用自然语言处理和信息抽取技术，从带有地理标签的社交媒体推文提取受害者和志愿者的位置。
• 将时空数据转换为基于离散网格的多智能体强化学习环境。
• 实施启发式函数，通过优先考虑高影响救援行动来剪枝动作空间，降低状态-动作复杂度。
• 采用集中式通信模型，志愿者根据通过强化学习学习到的策略行动，成功抵达受害者时获得奖励，离开网格时受到惩罚。
• 使用基于值函数的深度强化学习方法，结合经验回放和目标网络，训练ResQ算法以稳定学习过程。
• 在探索阶段整合基于规则的启发式方法，以加速收敛，同时保持对受害者和志愿者位置动态变化的适应能力。

实验结果

研究问题

• RQ1 启发式多智能体强化学习能否在时间敏感的灾难响应场景中有效协调志愿者部署？
• RQ2 与标准强化学习相比，所提出的启发式函数在动态、数据稀缺环境中如何提升训练效率和性能？
• RQ3 ResQ在响应时间和救援成功率方面，与传统方法（如贪心搜索、值迭代和随机游走）相比，性能提升程度如何？
• RQ4 社交媒体数据能否被可靠地转化为大规模灾难响应系统中的实时可操作输入？
• RQ5 在多智能体强化学习用于应急协调时，启发式引导对收敛速度和最终性能有何影响？

主要发现

• ResQ在相同实验中实现了最高的奖励率37.9%，显著优于次优方法（强化学习为31.85%）。
• 该算法平均仅用5.0个时间步完成救援任务，所有方法中最快，而标准强化学习为5.4个时间步。
• ResQ在24个训练周期内即收敛至稳定性能，相较于标准强化学习需208个周期才收敛，训练速度大幅提升。
• 启发式函数有效减少了状态-动作空间，从而在动态、不确定环境中实现更快的学习和更好的泛化能力。
• ResQ在奖励和时间效率方面始终优于贪心B.F.S、基于规则的方法和值迭代方法，尤其在高变异性场景中表现更优。
• 热力图和箱线图分析表明，ResQ生成了最高比例的高奖励结果（>190），表明其在各轮次中均表现出稳健且可靠的表现。