[논문 리뷰] MARL with General Utilities via Decentralized Shadow Reward Actor-Critic

Junyu Zhang, Amrit Singh Bedi외 2명|arXiv (Cornell University)|2021. 05. 29.

Multi-Agent Systems and Negotiation참고 문헌 68인용 수 5

한 줄 요약

이 논문은 팀의 상태-행동 점유 측도의 비선형 함수인 일반적인 유틸리티를 최적화하기 위해 새로운 샤로우 리워드 메커니즘을 활용하는 분산형 다중 에이전트 강화학습 알고리즘 DSAC을 제안한다. 분산 메시지 전달을 통해 국소 점유 측도와 기울기를 추정함으로써, DSAC은 높은 확률로 O(1/ε².⁵) 단계 내에 ε-정류성에 수렴하고, 잘못된 정류점들을 제거하여 누적 수익을 초월한 최적의 정책 학습을 가능하게 한다.

ABSTRACT

We posit a new mechanism for cooperation in multi-agent reinforcement learning (MARL) based upon any nonlinear function of the team's long-term state-action occupancy measure, i.e., a \emph{general utility}. This subsumes the cumulative return but also allows one to incorporate risk-sensitivity, exploration, and priors. % We derive the {\bf D}ecentralized {\bf S}hadow Reward {\bf A}ctor-{\bf C}ritic (DSAC) in which agents alternate between policy evaluation (critic), weighted averaging with neighbors (information mixing), and local gradient updates for their policy parameters (actor). DSAC augments the classic critic step by requiring agents to (i) estimate their local occupancy measure in order to (ii) estimate the derivative of the local utility with respect to their occupancy measure, i.e., the "shadow reward". DSAC converges to $ε$-stationarity in $\mathcal{O}(1/ε^{2.5})$ (Theorem ef{theorem:final}) or faster $\mathcal{O}(1/ε^{2})$ (Corollary ef{corollary:communication}) steps with high probability, depending on the amount of communications. We further establish the non-existence of spurious stationary points for this problem, that is, DSAC finds the globally optimal policy (Corollary ef{corollary:global}). Experiments demonstrate the merits of goals beyond the cumulative return in cooperative MARL.

연구 동기 및 목표

• 다중 에이전트 강화학습에서 누적 수익을 초월한 일반 유틸리티 최적화에 대한 공식적 보장을 마련할 것.
• 위험 감수성, 탐색, 사전 경험과 같은 팀의 장기적 상태-행동 점유 측도의 비선형 함수를 사용하여 MARL에서 협업을 가능하게 할 것.
• 일반 유틸리티를 갖춘 공통 보상 다중 에이전트 강화학습을 분산적으로 지원하면서도 확장성과 수렴 보장을 유지하는 알고리즘 개발.
• 제안된 프레임워크의 이론적 수렴성과 잘못된 정류점의 부재를 확립할 것.
• 내비게이션 및 탐색 작업에서의 실증 검증을 통해 공동 다중 에이전트 설정에서 일반 유틸리티의 실용적 이점을 입증할 것.

제안 방법

• 에이전트의 마진화된 점유 측도에 대한 국소 유틸리티의 도함수로 '샤로우 리워드' 개념을 도입하여, 비선형 유틸리티에 대한 기울기 계산을 가능하게 한다.
• 학습 과정을 네 단계로 분해한다: (1) 국소 점유 측도 추정, (2) 샤로우 리워드 계산, (3) 이웃과의 비용 파rameter 평균화(정보 혼합), (4) 국소 정책 기울기 상승.
• 이웃 간 가중 평균을 사용한 분산 비용 업데이트를 통해 중심화된 조율 없이도 가치 추정의 일관성을 유지한다.
• 점유 측도의 비선형 유틸리티 함수를 고려한 일반화된 정책 기울기 정리(Generalized Policy Gradient Theorem)를 정식화한다.
• 각 에이전트가 자체 정책과 비용을 유지하고, 국소 기울기와 이웃 평균 파arameter를 통해 업데이트되는 분산 액터-크리틱 프레임워크를 통합한다.
• 유틸리티 함수의 구조와 에이전트 간 비용 파arameter 혼합을 활용하여 수렴을 보장하고, 전역 최적성 보장을 가능하게 한다.

실험 결과

연구 질문

• RQ1 분산형 MARL 알고리즘이 상태-행동 점유 측도의 비선형 함수인 일반 유틸리티를 효과적으로 최적화할 수 있는가?
• RQ2 제안된 샤로우 리워드 메커니즘이 분산 환경에서 비선형 팀 목표의 효과적인 기울기 추정을 가능하게 하는가?
• RQ3 다양한 통신 체제에서 제안된 알고리즘의 수렴 속도는 어떠한가?
• RQ4 MARL에서 일반 유틸리티의 최적화 과정에 잘못된 정류점이 존재하는가, 그리고 이를 피할 수 있는가?
• RQ5 알고리즘이 안전성 제약을 충족하거나 누적 수익을 초월해 탐색을 우선시하는 정책을 성공적으로 학습할 수 있는가?

주요 결과

• 정리 4.14와 추론 4.16에 의해 증명된 lin, DSAC은 높은 확률로 O(1/ε².⁵) 단계 내에 ε-정류성에 수렴하며, 더 높은 통신 수준에서는 더 빠른 O(1/ε²) 수렴을 달성한다.
• 추론 4.15에 의해 입증된 lin, 알고리즘은 잘못된 정류점을 명백히 피하며, 전역 최적 정책으로의 수렴을 보장한다.
• 실험 결과, 안전 제약에서 z=10을 벌점 파aram터로 사용할 경우 안전하지 않은 영역을 효과적으로 회피하며, 샤로우 리워드가 이러한 상태에 매우 낮은 값을 할당하는 것으로 나타났다.
• 8개의 에이전트가 참여하는 다중 에이전트 안전 내비게이션 작업에서, DSAC은 통신 토폴로지가 레이어, 스몰월드, 무작위일 경우에도 제약 위반을 줄이고, 일관성 오차를 거의 0에 가깝게 유지했다.
• 경로가 진흙 지역을 피하고 탐색 최적화 작업에서 수익이 향상되는 것으로 나타나, 안전성, 탐색, 사전 경험을 우선시하는 정책 학습이 효과적으로 가능함을 입증했다.
• 점유 측도와 샤로우 리워드의 시각화 결과, 유틸리티 함수에 안전성 벌점이 포함된 후에야 알고리즘이 안전하지 않은 영역을 피하는 것을 학습하는 것으로 확인되어, 메커니즘이 유틸리티 설계에 민감하게 반응하는 것을 검증했다.