[논문 리뷰] Analysing Congestion Problems in Multi-agent Reinforcement Learning

Roxana Rădulescu, Peter Vrancx외 1명|arXiv (Cornell University)|2017. 02. 28.

Traffic control and management참고 문헌 8인용 수 6

한 줄 요약

이 논문은 자원이 상호의존적인 도로망 도메인(Road Network Domain, RND)을 소개한다. 이는 교통망이나 전력망과 같은 실제 세계의 네트워크를 모델링하는 새로운 다중에이전트 강화학습 기준 평가 벤치마크이다. 자원의 추상화는 복잡한 상호의존성에 대해 어려움을 겪는 반면, 차등 보상(difference rewards)은 환경의 동역학을 더 잘 포착함으로써 일관되게 최적 성능을 달성함을 보여준다.

ABSTRACT

Congestion problems are omnipresent in today's complex networks and represent a challenge in many research domains. In the context of Multi-agent Reinforcement Learning (MARL), approaches like difference rewards and resource abstraction have shown promising results in tackling such problems. Resource abstraction was shown to be an ideal candidate for solving large-scale resource allocation problems in a fully decentralized manner. However, its performance and applicability strongly depends on some, until now, undocumented assumptions. Two of the main congestion benchmark problems considered in the literature are: the Beach Problem Domain and the Traffic Lane Domain. In both settings the highest system utility is achieved when overcrowding one resource and keeping the rest at optimum capacity. We analyse how abstract grouping can promote this behaviour and how feasible it is to apply this approach in a real-world domain (i.e., what assumptions need to be satisfied and what knowledge is necessary). We introduce a new test problem, the Road Network Domain (RND), where the resources are no longer independent, but rather part of a network (e.g., road network), thus choosing one path will also impact the load on other paths having common road segments. We demonstrate the application of state-of-the-art MARL methods for this new congestion model and analyse their performance. RND allows us to highlight an important limitation of resource abstraction and show that the difference rewards approach manages to better capture and inform the agents about the dynamics of the environment.

연구 동기 및 목표

• 기존 혼잡 기준 평가가 독립된 자원을 전제로 하여 실제 세계의 상호의존성을 반영하지 못하는 한계를 해결하기 위해.
• 실제로 연결된 네트워크 환경에서 자원의 추상화와 차등 보상의 성능 및 적용 가능성을 평가하기 위해.
• 자원의 추상화의 가정과 제약 조건을 바탕으로 언제, 어떻게 이를 적용할 것인지에 대한 명확한 지침을 제공하기 위해.
• 공유된 도로 세그먼트를 포함한 상호의존적 자원을 모델링하는 새로운 기준 평가 도메인인 RND를 소개하기 위해.
• 복잡한 네트워크 환경에서 자원의 추상화가 최적의 집단적 행동으로 이끄는 데 효과적으로 기능할 수 있는지 분석하기 위해.

제안 방법

• 연결된 도로 세그먼트로 이루어진 네트워크에서 에이전트가 경로를 선택하는 다중에이전트 강화학습(MARL) 기준 평가 도메인인 도로망 도메인(RND)을 제안한다. 각 도로 세그먼트는 용량과 무게 제약 조건을 가진다.
• 환경을 모델링하여 한 경로를 선택하면 공유 세그먼트의 부하가 증가함으로써 자원 선택 간의 상호의존성을 도입한다.
• 두 가지 주요 MARL 접근 방식을 적용한다: 자원의 추상화(RA), 자원을 추상화된 자원으로 묶어 보상 구조를 형성하는 방식이며, 차등 보상은 개별 에이전트의 기여도에 기반해 보상을 형성하는 방식이다.
• Q-학습을 사용하여 에이전트를 훈련시키며, 가치 함수 업데이트 규칙를 적용한다: $ Q(s,a) = Q(s,a) + alpha[r + gamma ext{max}_{a'}Q(s',a')] $.
• 두 가지 유틸리티 체계를 사용한다: 비치 문제 도메인(BPD) 유틸리티는 한 경로에 과잉 집중함으로써 최대 유틸리티를 달성하며, 교통선 도메인(TLD) 유틸리티는 핵심 세그먼트에서 혼잡을 피해야 최적 성능을 낼 수 있다.
• 다양한 추상 그룹 구성에 대해 평가하며, 2,000 에피소드 동안 30번의 시도를 수행하여 전역 유틸리티를 측정하고 평균 및 표준편차를 보고한다.

실험 결과

연구 질문

• RQ1 상호의존적 자원이 있는 네트워크 환경에서 자원의 추상화가 최적 행동으로 이끄는 데 효과적으로 작용할 수 있는가?
• RQ2 실제 세계의 도로나 전력망처럼 자원이 상호 연결되어 있을 경우, 자원의 추상화의 가정이 어떻게 붕괴되는가?
• RQ3 자원의 추상화보다 차등 보상 방식이 상호의존적 자원 환경에서 복잡한 환경의 동역학을 더 잘 포착하는가?
• RQ4 실제 혼잡 문제에 자원의 추상화를 효과적으로 적용하기 위한 필수 조건과 지식 요구 사항은 무엇인가?
• RQ5 예를 들어 한 경로에 과잉 집중하면서도 다른 경로는 포화 상태를 유지하는 등의 원하는 집단적 행동이 네트워크 도메인에서 자원의 추상화로 신뢰성 있게 표현될 수 있는가?

주요 결과

• BPD 유틸리티 체계에서 최고의 시스템 유틸리티를 달성하기 위해서는 핵심 세그먼트에서 혼잡을 피해야 하는 데, 자원의 추상화 방법은 '과잉 집중을 피하라'는 행동을 인코딩할 수 없어 최적 해를 표현하지 못한다.
• TLD 유틸리티 체계에서는 핵심 세그먼트인 AC와 BD에서 혼잡을 피해야 최적 성능을 낼 수 있는데, $[ABD,ACD],[ABCD]$ 구성의 자원의 추상화는 최적 성능을 달성할 수 있지만, 이는 반드시 원하는 행동을 반영하도록 추상 그룹을 정교하게 설계했을 때에만 가능하다.
• 차등 보상 방식은 모든 테스트 구성과 유틸리티 체계에서 일관되게 최적 또는 근접 최적 성능을 달성하며, 복잡한 상호의존적 환경에서 자원의 추상화를 능가한다.
• 자원의 추상화 성능은 추상 그룹의 선택에 매우 민감하다. 예를 들어 $[ABD,ACD],[ABCD]$는 BPD에서는 성능이 열악하지만 TLD에서는 양호하다. 이는 깊은 문제 이해가 필요함을 시사한다.
• 자원의 추상화에는 개별 자원의 용량, 무게, 전역 유틸리티 함수에 대한 상세한 지식이 필요하여, 실세계 도메인에서의 실용적 적용 가능성이 제한된다.
• RND 기준 평가 도메인은 네트워크 내 실세계의 상호의존성을 성공적으로 모델링하였으며, 현재의 MARL 방법들이 독립된 자원 선택을 넘어서 공유 자원 제약 조건을 고려해야 함을 드러냈다.