[논문 리뷰] Actor-Attention-Critic for Multi-Agent Reinforcement Learning

Shariq Iqbal, Fei Sha|arXiv (Cornell University)|2018. 10. 05.

Reinforcement Learning in Robotics참고 문헌 30인용 수 289

한 줄 요약

MAAC은 다른 에이전트에 선별적으로 주의를 기울이기 위한 주의 기계가 있는 중앙 집중식 비평가를 도입하여 협력, 경쟁 및 혼합 MARL 설정에서 확장 가능하고 분산된 정책을 가능하게 한다.

ABSTRACT

Reinforcement learning in multi-agent scenarios is important for real-world applications but presents challenges beyond those seen in single-agent settings. We present an actor-critic algorithm that trains decentralized policies in multi-agent settings, using centrally computed critics that share an attention mechanism which selects relevant information for each agent at every timestep. This attention mechanism enables more effective and scalable learning in complex multi-agent environments, when compared to recent approaches. Our approach is applicable not only to cooperative settings with shared rewards, but also individualized reward settings, including adversarial settings, as well as settings that do not provide global states, and it makes no assumptions about the action spaces of the agents. As such, it is flexible enough to be applied to most multi-agent learning problems.

연구 동기 및 목표

• 다음 시간 단계에서 관련 에이전트에만 주의를 기울이는 중앙 집중식 비평가를 학습하여 다중 에이전트 RL의 비정적성 및 확장성을 해결한다.
• 분산 실행을 유지하면서 에이전트 간 이질적인 보상 구조와 행동 공간을 허용한다.
• 주의 기반 다중 에이전트 기준선과 엔트로피 정규화를 통해 크레딧 할당을 개선한다.
• 전역 상태를 필요로 하지 않으면서 협력적, 경쟁적 및 혼합 환경에서 확장 가능성과 적응성을 입증한다.

제안 방법

• 각 에이전트에 대한 중앙 집중식 비평가를 사용하고 다른 에이전트의 정보의 가중치를 매기기 위한 주의 메커니즘을 도입한다.
• Q_i를 Q_i^ψ(o,a) = f_i(g_i(o_i,a_i), x_i)로 표현하되, x_i는 다른 에이전트의 인코딩 정보의 가중합이다.
• 공통 매개변수를 가진 양자-키(bilinear query-key) 메커니즘을 통해 주의 가중치 α_j를 계산하고, 필요에 따라 여러 헤드를 사용할 수 있다.
• TD 스타일 손실을 사용하여 다중 에이전트 기준선으로 A_i(o,a) = Q_i^ψ(o,a) − b(o,a_{ eq i})를 계산하며 비평가를 함께 학습한다.
• advantage 항에 다중 에이전트 기준선을 포함한 엔트로피 정규화를 사용하여 개인 정책 θ_i를 정책 그래디언스로 업데이트한다.
• 기준선 계산 시 이산 행동에 대해 가능한 모든 행동에 대해 Q를 출력하여 Q의 정확한 기대값으로 확장하는 것을 옵션으로 제공한다.

실험 결과

연구 질문

• RQ1 centralized attention-based critic이 기존의 중앙 집중식 학습 방법에 비해 다중 에이전트 환경에서 학습 안정성과 확장성을 개선할 수 있는가?
• RQ2 관련 에이전트에 대한 동적 주의가 다중 에이전트 환경에서 크레딧 할당 및 성능을 개선하는가?
• RQ3 에이전트들 간 보상 구조와 행동 공간이 다르고 전역 상태를 사용할 수 없을 때 MAAC의 성능은 어떠한가?
• RQ4 에이전트 수가 증가함에 따라 MAAC가 연결(concatenation)-기반 비평가보다 더 잘 확장되는가?

주요 결과

Algorithm	Environment	MAAC	MAAC (Uniform)	MADDPG+SAC	COMA+SAC	Notes
CN (Cooperative Navigation)	Cooperative	-1.74 ± 0.05	-1.89 ± 0.07	-1.76 ± 0.05	-2.09 ± 0.12	Shared rewards, similar action spaces

• MAAC은 협력 및 혼합 환경에서 경쟁력 있는 성능을 달성하고, 에이전트 수가 증가함에 따라 기준선 대비 확장성이 향상됨을 보인다.
• 주의 메커니즘은 에이전트가 관련된 다른 에이전트(예: Rover-Tower)에 집중하도록 하고, 쌍의 에이전트를 주의 대상으로 삼는 것을 시각화할 수 있으며 명시적 감독은 필요 없다.
• 학습된 주의를 가진 MAAC은 Cooperative Treasure Collection에서 에이전트 수가 증가함에 따라 MADDPG+SAC보다 더 잘 확장된다.
• 일부 작업에서 균일한 주의가 경쟁력이 있을 수 있지만, 동적 주의는 관련 파트너 및 하위 그룹 상호작용이 변화하는 시나리오에서 이점을 제공한다(예: Rover-Tower).
• 경험적 결과에 따르면 에이전트 수가 증가해도 MAAC의 성능은 유지되는 반면, 일부 기준선은 확장과 함께 성능이 저하된다.