[논문 리뷰] Action Semantics Network: Considering the Effects of Actions in Multiagent Systems

Weixun Wang, Tianpei Yang외 7명|arXiv (Cornell University)|2019. 07. 26.

Reinforcement Learning in Robotics참고 문헌 37인용 수 12

한 줄 요약

이 논문은 다중에이전트 강화학습에서 다른 에이전트에 미치는 행동의 影響를 명시적으로 모델링하는 새로운 딥러닝 아키텍처인 액션 세미antics 네트워크(ASN)를 제안한다. 이는 다중에이전트 환경에서의 협업을 향상시킨다. 액션 세미antics—다른 에이전트에 대한 행동의 차별적 영향—를 학습함으로써, ASN은 스타크래프트 II와 네트워크 MMO 환경에서 다양한 DRL 알고리즘의 성능을 향상시켜 더 높은 보상과 데미지 출력을 달성한다.

ABSTRACT

In multiagent systems (MASs), each agent makes individual decisions but all of them contribute globally to the system evolution. Learning in MASs is difficult since each agent's selection of actions must take place in the presence of other co-learning agents. Moreover, the environmental stochasticity and uncertainties increase exponentially with the increase in the number of agents. Previous works borrow various multiagent coordination mechanisms into deep learning architecture to facilitate multiagent coordination. However, none of them explicitly consider action semantics between agents that different actions have different influences on other agents. In this paper, we propose a novel network architecture, named Action Semantics Network (ASN), that explicitly represents such action semantics between agents. ASN characterizes different actions' influence on other agents using neural networks based on the action semantics between them. ASN can be easily combined with existing deep reinforcement learning (DRL) algorithms to boost their performance. Experimental results on StarCraft II micromanagement and Neural MMO show ASN significantly improves the performance of state-of-the-art DRL approaches compared with several network architectures.

연구 동기 및 목표

• 에이전트의 행동이 상호 영향을 미치는 확률적이고 고불확실성 환경에서 다중에이전트 협업의 과제를 해결하기 위해.
• 기존 딥러닝 강화학습 방법이 서로 다른 행동이 다른 에이전트에 미치는 영향을 명시적으로 모델링하지 못하는 격차를 규명하기 위해.
• 행동의 세미antics—즉, 행동이 다른 에이전트에 미치는 차별적 영향—를 명시적으로 인코딩하는 새로운 신경망 아키텍처를 제안하여 정책 학습과 협업을 향상시키기 위해.
• 제안된 아키텍처를 기존 딥러닝 강화학습 알고리즘과 통합하여 복잡한 다중에이전트 환경에서의 성능을 향상시키기 위해.

제안 방법

• 행동 세미antics에 기반해 다른 에이전트에 대한 행동의 영향을 분리하고 모델링하는 신경망 아키텍처인 액션 세미antics 네트워크(ASN)를 설계하기 위해.
• 이중 브랜치 네트워크 구조를 사용: 한 브랜치는 현재 상태와 행동 임베딩을 처리하고, 다른 브랜치는 학습된 어텐션 또는 상호작용 모듈을 통해 각 행동이 다른 에이전트에 미치는 영향을 계산한다.
• 행동 표현을 다른 에이전트에 대한 행동의 영향 예측에 조건화하여 Q-값 또는 정책 네트워크에 액션 세미antics를 통합한다.
• 중앙집중적 훈련과 분산 추론을 사용하여 표준 딥러닝 강화학습 알고리즘(PPO, A2C, ACKTR 등)으로 네트워크를 훈련시킨다.
• 다양한 행동 유형(예: 다양한 공격 유형)이 있는 다중행동 상황에서 행동 유형 간 파라미터 공유를 적용하여 일반화를 향상시키고 과적합을 줄인다.
• 에이전트 수준의 상태 표현과 관계 모델링을 사용하여 에이전트별 행동 효과를 포착함으로써, 의미적 영향에 기반한 정밀한 행동 선택을 가능하게 한다.

실험 결과

연구 질문

• RQ1 에이전트 간 액션 세미antics의 명시적 모델링이 딥러닝 강화학습에서 다중에이전트 협업을 향상시킬 수 있는가?
• RQ2 다양한 환경 조건 하에서 ASN이 어텐션 기반 및 바닐라 신경망과 비교해 최적의 행동 선택 학습에 어떻게 영향을 미치는가?
• RQ3 ASN은 상대의 거리에 따라 가장 효과적인 행동(예: 최대 데미지 공격)을 식별하고 선택할 수 있는가?
• RQ4 StarCraft II와 Neural MMO와 같은 다양한 다중에이전트 환경에서 ASN은 학습 안정성과 최종 성능 향상에 어느 정도 기여하는가?
• RQ5 각 행동 유형(예: 근접, 원거리, 마법 공격)의 별도의 의미적 영향을 학습함으로써 ASN은 다양한 행동 유형에 일반화될 수 있는가?

주요 결과

• ASN은 스타크래프트 II 미크로맨지먼트와 Neural MMO 환경에서 평균 누적 보상 측면에서 바닐라, 어텐션, 엔티티-어텐션 네트워크를 크게 앞서며 성능을 향상시켰다.
• Neural MMO에서 ASN-M1은 거리가 ≤2일 경우 평균 총 데미지가 1.5 이상을 기록하여 어텐션(≈1.5)과 바닐라/엔티티-어텐션 네트워크(≈1.0)를 초월했다.
• ASN은 근접 거리에서 최대 데미지를 유발하는 메이지 공격을 명시적으로 액션 세미antics 모델링 덕분에 더 높은 확률로 선택함으로써 성능 향상을 보였다.
• ASN의 성능 향상은 PPO, ACKTR, A2C 등 여러 DRL 알고리즘에 걸쳐 일관되게 나타나, 플러그인 아키텍처로서의 호환성과 효과성을 입증했다.
• 모든 테스트 거리 범위(≤2, ≤4, ≤10)에서 ASN은 기준 모델보다 평균 데미지가 높게 유지되어 환경 변화에 대한 강건성을 보였다.
• 제거 실험을 통해 ASN-M1의 파라미터 공유가 성능을 희생시키지 않고 일반화를 향상시켰음을 확인했으며, 특히 다중행동 설정에서 두드러졌다.