[논문 리뷰] Coordination-driven learning in multi-agent problem spaces

Sean L. Barton, Nicholas R. Waytowich외 1명|arXiv (Cornell University)|2018. 09. 13.

Reinforcement Learning in Robotics참고 문헌 10인용 수 5

한 줄 요약

이 논문은 다중 에이gent 강화학습(MARL)에서 상호작용 간의 협업을 직접 학습 목표로 최적화하기 위해 새로운 협업 측정 지표인 인과적 협업 측정(Causal Coordination Measure, CCM)을 도입함으로써 행동 상호의존성을 정량화한다. CCM을 학습 손실에 통합함으로써 에이전트는 잠재적 행동에 의존하지 않고 명시적인 협업을 학습하게 되어, 적대적 및 협동적 과제(예: 사냥개-사냥개 추격)에서 강건성이 크게 향상된다.

ABSTRACT

We discuss the role of coordination as a direct learning objective in multi-agent reinforcement learning (MARL) domains. To this end, we present a novel means of quantifying coordination in multi-agent systems, and discuss the implications of using such a measure to optimize coordinated agent policies. This concept has important implications for adversary-aware RL, which we take to be a sub-domain of multi-agent learning.

연구 동기 및 목표

• 복잡하거나 적대적인 환경에서 다중 에이전트 강화학습(MARL)에서 보장된 협업이 부족한 문제를 해결하기 위해.
• 성능 중심의 지표만으로는 학습 과정에서 진정된 협업을 포착하지 못하는 한계를 극복하기 위해.
• 잠재적 협업이 아닌 명시적인 행동 정책 형성 방법을 개발하기 위해.
• 에이전트가 파art너와 협업하도록 내재적으로 유도함으로써 인간-에이전트 협업의 신뢰성을 높이기 위해.
• 적대적 공격에 대한 강건성을 향상시키기 위해, 적대적 행동을 예측하고 대응할 수 있는 협업 정책을 훈련시키기 위해.

제안 방법

• 행동 간 인과적 영향을 측정할 수 있는 새로운 협업 측정 지표인 인과적 협업 측정(Causal Coordination Measure, CCM)을 도입하여 상호작용 간의 행동 상호의존성을 정량화한다.
• CCM을 학습 목표의 직접적 신호로 사용하기 위해, 역전파 과정에서 에이전트의 손실 함수에 CCM을 통합한다.
• CCM을 보조 보상 또는 손실에 대한 정규화 항으로 적용하여 정책 학습이 협업 행동을 향해 유도되도록 한다.
• 3마리의 사냥개와 1마리의 사냥개를 포함한 연속적인 2차원 사냥개-사냥개 추격 환경을 구현하여 협업 역학을 테스트한다.
• 훈련 중 협업 임계값을 다양하게 설정하여 협업 수준을 실험적으로 제어하고, 그 영향을 과제 성능에 미치는 영향을 관찰한다.
• 에이전트가 과제 성공(점수)과 상호에이전트 협업을 동시에 최적화하도록 CCM을 활용하여, 이로 인해 사적인 정책이나 진동 정책을 피한다.

실험 결과

연구 질문

• RQ1 인과적 지표를 사용하여 다중 에이전트 시스템에서 협업을 효과적으로 측정 가능한 신호로 정량화할 수 있는가?
• RQ2 CCM을 통해 협업을 명시적으로 최적화할 경우, 성능 중심의 학습 목표에 비해 더 높은 과제 성능을 달성할 수 있는가?
• RQ3 협업 임계값을 다양하게 설정할 경우, 정책 학습, 협업 품질, 과제 결과에 어떤 영향을 미치는가?
• RQ4 협업 중심의 학습이 다중 에이전트 강화학습 환경에서 적대적 공격에 대한 강건성을 향상시키는가?
• RQ5 CCM이 얼마나 효과적으로 에이전트가 집단 성과를 해칠 수 있는 사적인 정책으로 수렴하는 것을 방지하는가?

주요 결과

• 인과적 협업 측정(Causal Coordination Measure, CCM)은 행동 간 인과적 영향을 측정함으로써 상호작용 간 협업을 성공적으로 정량화하며, 학습 과정에서 신뢰할 수 있는 신호를 제공한다.
• CCM이 학습 손실에 통합되면, 협업이 자연스럽게 발생하지 않는 복잡한 환경에서도 에이전트가 명시적인 협업 행동을 학습하게 된다.
• CCM을 사용한 훈련은 전통적인 MARL 방법에 비해 더 높고 안정적인 협업 수준을 달성한다. 이는 높은 과제 성능에도 불구하고 의미 있는 협업을 달성하지 못하는 경향이 있는 기존 방법과 대비된다.
• 원하는 임계값을 설정함으로써 협업 수준를 실험적으로 제어할 수 있어, 협업의 성능에 미치는 영향을 체계적으로 연구할 수 있다.
• 협업 중심의 학습은 집단적 성과를 해칠 수 있는 사적인 정책으로 수렴할 위험을 줄인다.
• 사냥개-사냥개 추격 과제에서 CCM 기반 훈련은 협업적인 군집 모으기 행동을 유도하여, 비협업 정책에 비해 사냥 성공률을 크게 향상시킨다.