[논문 리뷰] Attention Actor-Critic algorithm for Multi-Agent Constrained Co-operative Reinforcement Learning

P. Parnika, Raghuram Bharadwaj Diddigi외 2명|arXiv (Cornell University)|2021. 01. 07.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 행동 제약 조건을 만족시키면서 최적의 정책을 학습할 수 있도록 보장하는 주의 기반 액터-크리틱 알고리즘인 MACAAC을 제안한다. 이 알고리즘은 적응형 라그랑주 이중 매개변수를 통해 제약 조건을 만족시키며, 정책 학습과 제약 조건 만족에 대해 별도의 주의 메커니즘을 사용함으로써 에이전트가 관련 정보를 동적으로 우선순위를 정할 수 있도록 한다. 이로 인해 Cooperative Navigation 및 Treasure Collection와 같은 벤치마크 환경에서 고정된 가중치 기반 보조 알고리즘보다 뛰어난 성능을 보이며, 벌점 제약 조건을 충족시킨다.

ABSTRACT

In this work, we consider the problem of computing optimal actions for Reinforcement Learning (RL) agents in a co-operative setting, where the objective is to optimize a common goal. However, in many real-life applications, in addition to optimizing the goal, the agents are required to satisfy certain constraints specified on their actions. Under this setting, the objective of the agents is to not only learn the actions that optimize the common objective but also meet the specified constraints. In recent times, the Actor-Critic algorithm with an attention mechanism has been successfully applied to obtain optimal actions for RL agents in multi-agent environments. In this work, we extend this algorithm to the constrained multi-agent RL setting. The idea here is that optimizing the common goal and satisfying the constraints may require different modes of attention. By incorporating different attention modes, the agents can select useful information required for optimizing the objective and satisfying the constraints separately, thereby yielding better actions. Through experiments on benchmark multi-agent environments, we show the effectiveness of our proposed algorithm.

연구 동기 및 목표

• 공동 목표를 최적화하는 동시에 행동 제약 조건을 반드시 만족시켜야 하는 다중 에이전트 협동 강화 학습 에이전트를 훈련시키는 데 도전하는 것.
• 초기에는 최적의 제약 조건 가중치를 알 수 없고, 시도 오류를 통해 학습해야 하는 고정된 가중치 벌점 방법의 한계를 극복하는 것.
• 액터-크리틱 프레임워크에 주의 메커니즘을 통합하여, 에이전트가 정책 최적화와 제약 조건 만족을 위한 관련 정보를 선택적으로 주의할 수 있도록 하는 것.
• 정책 업데이트가 빠른 시간 스케일, 라그랑주 이중 매개변수 업데이트가 느린 시간 스케일인 이중 시간 스케일 학습 방법을 사용하여 중앙집중적 훈련과 분산 실행을 가능하게 하는 것.
• 제안된 방법이 다중 에이전트 환경에서 지정된 벌점 제약 조건을 충족시키면서도 거의 최적의 성능을 달성하는 것을 경험적으로 검증하는 것.

제안 방법

• 중앙집중식 크리틱을 사용하며, 주요 비용(정책 최적화)을 위한 하나의 주의 헤드와 벌점 비용(제약 조건 만족)을 위한 다른 하나의 주의 헤드를 갖는다.
• 이중 시간 스케일 학습 알고리즘을 사용한다: 정책 매개변수는 빠른 시간 스케일에서 업데이트되고, 라그랑주 이중 매개변수(제약 조건에 대한 가중치)는 느린 시간 스케일에서 업데이트된다.
• 주의 메커니즘은 각 에이전트가 다른 에이전트의 관측에 대해 서로 다른 주의 가중치를 동적으로 할당함으로써, 서로 다른 하위 작업을 위한 정보 선택적 처리를 가능하게 한다.
• 라그랑주 공식은 주요 비용과 제약 비용을 결합하며, 제약 조건을 만족시키기 위해 기울기 상승을 통해 이중 매개변수를 학습함으로써 최적의 가중치를 사전에 알 필요 없이 제약 조건을 강제한다.
• 이 알고리즘은 두 가지 벤치마크 환경에서 평가된다: Cooperative Navigation(1개의 제약 조건)과 Treasure Collection(2개의 제약 조건), 여기서는 희박한 보상과 충돌 벌점이 사용된다.
• 크리틱은 주요 목표와 벌점 항목에 대한 Q-값을 추정하도록 훈련되며, 표현 학습을 향상시키기 위해 가치 함수 추정에 주의 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 주의 기반 액터-크리틱 알고리즘이 다중 에이전트 환경에서 지정된 행동 제약 조건을 만족시키면서도 협동 정책을 효과적으로 학습할 수 있는가?
• RQ2 정책 학습과 제약 조건 만족에 대해 주의를 분리하면 공유 주의 또는 고정 가중치 벌점 방법보다 성능이 향상되는가?
• RQ3 다중 에이전트 환경에서 적응형 라그랑주 이중 매개변수를 효과적으로 학습시켜 목적 최적화와 제약 조건 이행을 자동으로 균형 잡을 수 있는가?
• RQ4 학습 도중 주의 메커니즘이 어떻게 진화하는가? 그리고 이는 서로 다른 작업에 대해 관련 있는 동료를 동적으로 우선순위 정하는 데 도움이 되는가?
• RQ5 제안된 방법이 고정 가중치 기반 보조 알고리즘보다 제약 조건 만족도와 목적 성능 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• MACAAC는 Cooperative Navigation 및 Treasure Collection 환경 모두에서 지정된 모든 벌점 제약 조건을 성공적으로 만족시키며, 제약 위반은 항상 임계값 이하로 유지된다.
• Cooperative Navigation 환경에서 고정 가중치 보조 알고리즘은 수렴한 라그랑주 매개변수 w₁ = 5.534를 사용하여 제약 조건 α = 3를 만족했지만, MACAAC보다 略히 높은 평균 비용을 기록했다.
• Treasure Collection 환경에서 고정 가중치 보조 알고리즘은 w₁ = 3.47과 w₂ = 0.83를 사용하여 두 제약 조건을 모두 만족했지만, MACAAC보다 높은 평균 비용을 기록했으며, 이는 고정 가중치가 너무 제한적일 수 있음을 시사한다.
• MACAAC는 학습 도중 라그랑주 매개변수를 적응적으로 학습함으로써 목적 최적화와 제약 조건 만족 사이의 더 나은 트레이드오���을 달성했으며, 이중 시간 스케일 접근법의 우수성을 입증했다.
• 주의 시각화 결과, 학습 종료 시점에 에이전트 1은 모든 다른 에이전트에게 동일하게 주의를 기울였지만, 에이전트 8(기부자)는 에이전트 7(수집자)에게 더 많은 주의를 기울였다. 이는 충돌 회피를 위한 작업 특화 주의의 존재를 시사한다.
• 에이전트 8의 벌점 크리틱은 모든 에이전트에게 균일하게 주의를 기울였으며, 이는 충돌을 피하기 위해 전역적 인식이 필요함을 반영하며, 주의 메커니즘이 제약 조건 이행에 기여한다는 것을 확인한다.