[论文解读] AI Agent as Urban Planner: Steering Stakeholder Dynamics in Urban Planning via Consensus-based Multi-Agent Reinforcement Learning

Kejiang Qian, Lingjun Mao+6 more|arXiv (Cornell University)|Oct 25, 2023

Transportation and Mobility Innovations被引用 6

一句话总结

本文提出了一种基于共识的多智能体强化学习（MARL）框架，将城市规划者和利益相关者建模为智能体，以优化参与式城市规划中的土地利用调整。通过将城市表示为空间图并使用图神经网络，该框架使智能体能够协同投票决定土地利用变更，实现了1.019的全局奖励和34,774.515的公平性奖励，优于传统的自上而下方法，在公平性和可持续性方面表现更优。

ABSTRACT

In urban planning, land use readjustment plays a pivotal role in aligning land use configurations with the current demands for sustainable urban development. However, present-day urban planning practices face two main issues. Firstly, land use decisions are predominantly dependent on human experts. Besides, while resident engagement in urban planning can promote urban sustainability and livability, it is challenging to reconcile the diverse interests of stakeholders. To address these challenges, we introduce a Consensus-based Multi-Agent Reinforcement Learning framework for real-world land use readjustment. This framework serves participatory urban planning, allowing diverse intelligent agents as stakeholder representatives to vote for preferred land use types. Within this framework, we propose a novel consensus mechanism in reward design to optimize land utilization through collective decision making. To abstract the structure of the complex urban system, the geographic information of cities is transformed into a spatial graph structure and then processed by graph neural networks. Comprehensive experiments on both traditional top-down planning and participatory planning methods from real-world communities indicate that our computational framework enhances global benefits and accommodates diverse interests, leading to improved satisfaction across different demographic groups. By integrating Multi-Agent Reinforcement Learning, our framework ensures that participatory urban planning decisions are more dynamic and adaptive to evolving community needs and provides a robust platform for automating complex real-world urban planning processes.

研究动机与目标

• 解决依赖专家判断且难以调和多元利益相关者诉求的传统自上而下城市规划方法的局限性。
• 通过实现适应性、学习驱动的城市规划，克服基于规则的智能体模型在动态环境中的僵化性。
• 通过智能体对不同社会经济群体的表示，整合参与式决策，提升城市可持续性与宜居性。
• 开发一种可扩展、数据驱动的框架，在强化学习的支撑下平衡全局城市效益与个体利益相关者偏好。
• 通过与基线方法的对比评估，证明该框架在现实城市场景（特别是肯德尔广场）中的有效性。

提出的方法

• 将城市土地利用表示为空间图，其中土地地块为节点，相邻地块通过边连接，以实现空间依赖关系的建模。
• 在策略网络和评论家网络中均采用图神经网络（GNNs），以处理空间特征并学习每个智能体的最优策略。
• 将智能体划分为两类：自上而下（规划者、开发商）与自下而上（低收入、中等收入和高收入社会经济群体的代表），以反映真实的利益相关者动态。
• 设计四层协作奖励机制——全局奖励、公平性奖励、可持续性奖励与多样性指标——以引导基于共识的学习，并平衡相互竞争的利益。
• 将土地利用调整建模为马尔可夫决策过程（MDP），使智能体通过策略优化学习对最优土地利用配置的投票。
• 在奖励函数中集成共识机制，以促进向最大化集体城市效益同时尊重个体偏好的解决方案收敛。

实验结果

研究问题

• RQ1 基于多智能体强化学习的框架能否有效建模并优化土地利用调整，同时在城市规划中平衡多元利益相关者诉求？
• RQ2 与传统自上而下或贪婪规划方法相比，基于共识的奖励设计在提升公平性与可持续性方面有何改进？
• RQ3 在城市环境中，空间图与图神经网络的使用在多大程度上增强了对相互依赖的土地利用变化的建模能力？
• RQ4 通过MARL实现的参与式规划是否在现实城市环境中产生比传统方法更可持续、更多样化的土地利用结果？
• RQ5 该框架在动态城市环境中如何随时间适应并收敛至高性能、公平的解决方案？

主要发现

• 所提出的基于共识的MARL框架实现了1.019的全局奖励，略高于DTP方法（1.018），表明其具备出色的优化性能。
• 该框架在公平性奖励方面达到34,774.515，优于基于DRL的自上而下方法（40,532.082），凸显了决策过程中公平性的显著提升。
• 可持续性提升167%（从原始状态的0.112增至0.299），多样性提升8%（从0.416增至0.449），表明城市质量获得显著改善。
• 该方法在多样性评分上达到最高（0.449），在可持续性方面位列第二（0.299），优于所有基线方法，包括DTP与贪婪方法。
• 收敛性分析显示学习过程稳定，全局奖励在第30集时稳定在1.019，表明策略学习具有鲁棒性与可靠性。
• 该框架有效平衡了利益相关者诉求，生成了比传统自上而下或基于规则的方法更具包容性与适应性的规划结果。