[논문 리뷰] AI Agent as Urban Planner: Steering Stakeholder Dynamics in Urban Planning via Consensus-based Multi-Agent Reinforcement Learning

Kejiang Qian, Lingjun Mao외 6명|arXiv (Cornell University)|2023. 10. 25.

Transportation and Mobility Innovations인용 수 6

한 줄 요약

이 논문은 도시 계획가와 이해관계자를 지능형 에이전트로 모델링하여 参여형 도시 계획에서 토지 이용 조정을 최적화하는 공감 기반 다중에이전트강화학습(MARL) 프레임워크를 제안한다. 도시를 공간 그래프로 표현하고 그래프 신경망을 사용함으로써, 에이전트들이 토지 이용 변화에 대해 공동으로 투표할 수 있도록 하여 전역 보상 1.019와 공정성 보상 34,774.515를 달성하였다. 이는 공정성과 지속 가능성 측면에서 전통적인 상향식 방법을 뛰어넘는 성과이다.

ABSTRACT

In urban planning, land use readjustment plays a pivotal role in aligning land use configurations with the current demands for sustainable urban development. However, present-day urban planning practices face two main issues. Firstly, land use decisions are predominantly dependent on human experts. Besides, while resident engagement in urban planning can promote urban sustainability and livability, it is challenging to reconcile the diverse interests of stakeholders. To address these challenges, we introduce a Consensus-based Multi-Agent Reinforcement Learning framework for real-world land use readjustment. This framework serves participatory urban planning, allowing diverse intelligent agents as stakeholder representatives to vote for preferred land use types. Within this framework, we propose a novel consensus mechanism in reward design to optimize land utilization through collective decision making. To abstract the structure of the complex urban system, the geographic information of cities is transformed into a spatial graph structure and then processed by graph neural networks. Comprehensive experiments on both traditional top-down planning and participatory planning methods from real-world communities indicate that our computational framework enhances global benefits and accommodates diverse interests, leading to improved satisfaction across different demographic groups. By integrating Multi-Agent Reinforcement Learning, our framework ensures that participatory urban planning decisions are more dynamic and adaptive to evolving community needs and provides a robust platform for automating complex real-world urban planning processes.

연구 동기 및 목표

• 전문가 판단에 의존하는 상향식 도시 계획의 한계를 해결하여 다양한 이해관계자의 이권을 조율하는 데 어려움을 겪는 문제를 해결한다.
• 규칙 기반 에이전트 기반 모델의 경직성을 극복하여 동적인 환경에서 적응적이고 학습 기반의 도시 계획을 가능하게 한다.
• 지능형 에이전트를 통해 다양한 사회경제적 집단을 표현함으로써 参여형 결정보상을 통합하여 도시의 지속 가능성과 생활 질을 향상시킨다.
• 강화학습을 활용해 전역 도시 이익과 개인 이해관계자 선호도를 균형 잡는 확장 가능한 데이터 기반 프레임워크를 개발한다.
• 특히 켄들 스쿼어에서의 실제 도시 환경을 대상으로 기준 방법과의 비교 평가를 통해 프레임워크의 효과성을 입증한다.

제안 방법

• 토지 구역을 노드로, 인접한 구역을 간선으로 연결하는 공간 그래프로 도시 토지 이용을 표현하여 공간적 의존성 모델링을 가능하게 한다.
• 모든 에이전트의 정책 학습을 위해 액터 및 크리틱 네트워크 모두에 그래프 신경망(GNNs)을 활용하여 공간적 특징을 처리하고 최적 정책을 학습한다.
• 실제 이해관계자 역동성을 반영하기 위해 에이전트를 두 그룹으로 분류한다: 상향식(계획가, 개발자)과 하향식(하위, 중간, 상위 사회경제 집단 대표자)이다.
• 공동 결정 기반 학습을 이끌기 위해 전역, 공정성, 지속 가능성, 다양성 메트릭을 포함한 사다리형 협력 보상 메커니즘을 설계한다.
• 에이전트들이 정책 최적화를 통해 최적의 토지 이용 구성에 대해 투표하는 방식으로 토지 이용 조정을 마르코프 결정 과정(MDP)으로 공식화한다.
• 공감 기반 보상 함수에 공감 메커니즘을 통합하여 공동 도시 이익을 극대화하면서도 개인의 선호를 존중하는 방향으로 수렴하도록 유도한다.

실험 결과

연구 질문

• RQ1 공감 기반 다중에이전트강화학습(MARL) 프레임워크는 도시 계획에서 다양한 이해관계자의 이권을 균형 잡고 토지 이용 조정을 효과적으로 모델링하고 최적화할 수 있는가?
• RQ2 공감 기반 보상 설계는 전통적인 상향식 또는 이기적인 계획 방법에 비해 공정성과 지속 가능성 측면에서 어떻게 향상되는가?
• RQ3 공간 그래프와 GNN의 활용이 도시 환경에서 상호의존적인 토지 이용 변화를 얼마나 향상시킬 수 있는가?
• RQ4 MARL을 통한 참여형 계획은 기존 방법에 비해 실제 도시 환경에서 더 지속 가능하고 다양한 토지 이용 결과를 낳는가?
• RQ5 이 프레임워크는 어떻게 동적인 도시 환경에 적응하며 시간이 지남에 따라 고성능이고 공정한 해답으로 수렴하는가?

주요 결과

• 제안된 공감 기반 MARL 프레임워크는 전역 보상 1.019를 달성하여 DTP 방법(1.018)을 略로 초월하여 강력한 최적화 성능을 입증하였다.
• 공정성 보상 34,774.515를 기록하여 DRL 기반 상향식 방법(40,532.082)에 비해 공정성 지표에서 뛰어난 성과를 보이며 의사결정의 향상된 공정성을 입증하였다.
• 지속 가능성은 167% 향상(기존 상태 0.112 → 0.299), 다양성은 8% 향상(0.416 → 0.449)되어 도시 품질 향상이 뚜렷하게 나타났다.
• 이 방법은 가장 높은 다양성 점수(0.449)와 두 번째로 높은 지속 가능성(0.299)을 기록하여 DTP 및 이기적 접근 방식을 포함한 모든 기준 방법을 앞섰다.
• 수렴 분석 결과, 전역 보상이 에피소드 30에서 1.019로 안정화되어 강력하고 신뢰할 수 있는 정책 학습이 이루어졌음을 보여주었다.
• 이 프레임워크는 이해관계자 이권을 효과적으로 균형 잡아 전통적인 상향식 또는 규칙 기반 접근 방식보다 더 포괄적이고 적응력 있는 계획 결과를 도출하였다.