[논문 리뷰] Locally Interdependent Multi-Agent MDP: Theoretical Framework for Decentralized Agents with Dynamic Dependencies

Alex DeWeese, Guannan Qu|arXiv (Cornell University)|2024. 06. 10.

Multi-Agent Systems and Negotiation인용 수 4

한 줄 요약

이 논문은 동적이고 거리 기반의 의존성을 가진 탈중앙화된 다중 에이전트 시스템을 위한 이론적 프레임워크인 로컬로 상호의존적인 다중 에이전트 MDP를 제안한다. 이는 근접성 기반의 의존성과 부분 관측 가능성을 고려한 세 가지 닫힌 형태의 정책—Amalgam, Cutoff, First Step Finite Horizon Optimal—을 제안하며, 이는 거의 최적의 성능을 달성한다. 특히 가시성 반경이 증가할수록 탈중앙화된 부분 관측 솔루션의 성능이 완전 관측 최적 솔루션에 지수적으로 가까워진다.

ABSTRACT

Many multi-agent systems in practice are decentralized and have dynamically varying dependencies. There has been a lack of attempts in the literature to analyze these systems theoretically. In this paper, we propose and theoretically analyze a decentralized model with dynamically varying dependencies called the Locally Interdependent Multi-Agent MDP. This model can represent problems in many disparate domains such as cooperative navigation, obstacle avoidance, and formation control. Despite the intractability that general partially observable multi-agent systems suffer from, we propose three closed-form policies that are theoretically near-optimal in this setting and can be scalable to compute and store. Consequentially, we reveal a fundamental property of Locally Interdependent Multi-Agent MDP's that the partially observable decentralized solution is exponentially close to the fully observable solution with respect to the visibility radius. We then discuss extensions of our closed-form policies to further improve tractability. We conclude by providing simulations to investigate some long horizon behaviors of our closed-form policies.

연구 동기 및 목표

• 동적으로 변화하는 의존성을 가진 탈중앙화된 다중 에이전트 시스템에 대한 이론적 분석의 부족을 해결한다.
• 시간에 따라 변화하는 의존성과 통신 그래프를 갖는 메트릭 공간 기반 MDP를 사용하여 실세계 응용 사례인 협동 주행, 장애물 회피, 편대 제어를 모델링한다.
• 에이전트가 제한된 시야 범위와 상호작용 범위를 갖는 부분 관측 가능한 탈중앙화 환경에서 이론적으로 기반을 두고 확장 가능한 정책을 개발한다.
• 기본적인 이론적 성질을 확립한다: 탈중앙화된 정책과 완전 관측 최적 정책 간의 성능 격차는 가시성 반경이 증가함에 따라 지수적으로 감소한다.
• 계산적으로 구현 가능하고 실용적으로 적용 가능한, 증명된 거의 최적의 닫힌 형태 솔루션 프레임워크를 제공한다.

제안 방법

• 에이전트가 반경 $\mathcal{R}$ 내에서만 상호작용하고, 가시성 반경 $\mathcal{V}$ 내에서만 통신하는 로컬로 상호의존적인 다중 에이전트 MDP 모델을 제안하며, 이는 시간에 따라 동적으로 변화한다.
• 세 가지 닫힌 형태의 정책—Amalgam, Cutoff, First Step Finite Horizon Optimal—을 정의하며, 각각 부분 관측 조건 하에서 누적 보상의 기대값을 최대화하도록 설계된다.
• 텔레스코프링 보조정리와 보상 조정 기법을 사용하여 제안된 정책과 최적 중심화된 정책 간의 성능 격차를 한계화한다.
• 충돌 페널티를 포함한 결정론적 하한 MDP를 구성하여, 어떤 탈중앙화 정책도 유도된 상한값을 초월해 더 나은 성능을 내지 못할 수 있음을 증명한다. 이는 근접 최적성의 확인을 제공한다.
• 동적 프로그래밍과 가치 함수 분해를 적용하여 부분 관측 조건 하에서 이론적 성능 보장을 도출한다.
• 정책 수정을 통해 확장성을 향상시키고, 장기 수평 행동을 시뮬레이션을 통해 장애물 회피, 주행, 편대 제어 환경에서 검증한다.

Figure 1: 3 agents moving in the space of $\mathcal{X}=\mathbb{R}^{2}$ with standard Euclidean distance. The bottom two agents potentially have an interdependent reward since they are within distance $\mathcal{R}$ of one another. Furthermore, every agent is within distance $\mathcal{V}$ of another a

실험 결과

연구 질문

• RQ1 동적으로 변화하는 국소적 의존성과 부분 관측 가능성을 가진 탈중앙화된 다중 에이전트 시스템을 이론적으로 모델링할 수 있는가?
• RQ2 이러한 탈중앙화되고 부분 관측 가능한 환경에서 거의 최적의 성능을 달성하는 닫힌 형태의 확장 가능한 정책가 존재하는가?
• RQ3 가시성 반경은 탈중앙화 정책과 완전 관측 최적 정책 간의 성능 격차에 어떤 영향을 미치는가?
• RQ4 탈중앙화된 다중 에이전트 의사결정에 대해 날카롭고 계산적으로 실행 가능한 이론적 성능 한계를 확립할 수 있는가?
• RQ5 제안된 정책은 실세계의 다중 에이전트 작업, 예를 들어 주행 및 편대 제어에서 장기 수평 동안 어떻게 행동하는가?

주요 결과

• Amalgam, Cutoff, First Step Finite Horizon Optimal 정책은 최적 중심화된 솔루션과 일정한 요소 이내의 이론적 성능 보장을 달성한다.
• 탈중앙화 정책의 성능은 완전 관측 최적 정책에 지수적으로 가까워지며, 격차는 $\frac{2}{1-\gamma}\gamma^{c+1}\tilde{r}$로 한정되며, 여기서 $c = \lfloor(\mathcal{V} - \mathcal{R})/2\rfloor$이다.
• 하한 구축을 통해 어떤 탈중앙화 정책도 유도된 상한값을 초월해 더 나은 성능을 내지 못할 수 있음을 증명하며, 이는 근접 최적성의 확인을 제공한다.
• 가시성 반경 $\mathcal{V}$는 성능 격차의 지수 감쇠를 제어한다: 더 큰 가시성 반경은 탈중앙화 성능을 크게 향상시킨다.
• 장애물 회피, 협동 주행, 편대 제어에서의 시뮬레이션을 통해 이론적 예측과 일치하는 안정적이고 장기 수평의 행동을 확인하였다.
• 정책의 확장이 이론적 성능 보장을 유지하면서도 확장성을 향상시켜, 복잡한 시스템에서의 실용적 구현을 가능하게 하였다.

Figure 2: Bullseye Problem: In red is the optimal policy with a discounted sum of rewards of $8.85$ . The top three in blue are Amalgam Policy rollouts with $\mathcal{V}=25$ , $\mathcal{\mathcal{missing}}V=35$ , $\mathcal{V}=45$ top to bottom. They have a total discounted reward of $6.74$ , $8.26$ ,