[논문 리뷰] Parallel Knowledge Transfer in Multi-Agent Reinforcement Learning

Yongyuan Liang, Bangwei Li|arXiv (Cornell University)|2020. 03. 29.

Reinforcement Learning in Robotics참고 문헌 31인용 수 7

한 줄 요약

이 논문은 다중 에이전트 강화 학습에서 새로운 지식 전이 프레임워크인 PAT(Patallel Attentional Transfer)를 제안한다. 이 프레임워크는 공유된 주의 메커니즘을 통해 동료 에이전트들로부터 동적으로 행동 지식을 선택하고 적용할 수 있도록 한다. 학생 모드와 자기 학습 모드를 번갈아가며 적용함으로써 PAT는 특히 대규모이고 복잡한 다중 작업 환경에서 팀 전체의 학습 효율성과 성능을 향상시킨다. 이는 기존 방법들에 비해 확장성과 전이 가능성 면에서 뛰어나다.

ABSTRACT

Multi-agent reinforcement learning is a standard framework for modeling multi-agent interactions applied in real-world scenarios. Inspired by experience sharing in human groups, learning knowledge parallel reusing between agents can potentially promote team learning performance, especially in multi-task environments. When all agents interact with the environment and learn simultaneously, how each independent agent selectively learns from other agents' behavior knowledge is a problem that we need to solve. This paper proposes a novel knowledge transfer framework in MARL, PAT (Parallel Attentional Transfer). We design two acting modes in PAT, student mode and self-learning mode. Each agent in our approach trains a decentralized student actor-critic to determine its acting mode at each time step. When agents are unfamiliar with the environment, the shared attention mechanism in student mode effectively selects learning knowledge from other agents to decide agents' actions. PAT outperforms state-of-the-art empirical evaluation results against the prior advising approaches. Our approach not only significantly improves team learning rate and global performance, but also is flexible and transferable to be applied in various multi-agent systems.

연구 동기 및 목표

• 분산형 실시간 학습 환경에서 협동 다중 에이전트 강화 학습(MARL)에서 효율적이고 신뢰할 수 있는 에이전트 간 지식 전이 문제를 해결하기 위해.
• 통신 비용을 줄이고, 열악한 품질이거나 충돌하는 조언으로 인한 악영향을 방지하기 위해.
• 경험이 풍부한 동료 에이전트들로부터 동적으로 선택적으로 학습할 수 있도록 동적 주의 메커니즘을 도입함으로써 팀 전체의 학습 안정성과 성능 향상.
• 다양한 팀 규모와 작업 구성에 걸쳐 MARL 정책의 확장성과 전이 가능성 향상.
• 중앙집중식 크티컬을 의존하지 않고도 각 에이전트가 동적으로 교사 및 학습자 역할을 수행할 수 있는 분산형으로도 구현 가능한 영리한 프레임워크 개발.

제안 방법

• 에이전트는 두 가지 동작 모드에서 작동한다: 학생 모드(다른 이들과 함께 학습)와 자기 학습 모드(독립적으로 학습). 이 모드는 분산형 학생 액터-크리틱 네트워크를 통해 선택된다.
• 공유된 주의 메커니즘은 환경에 대한 친밀도와 정책의 효과성 기반으로 다른 에이전트들 중에서 가장 관련성이 높은 행동 지식을 동적으로 식별하고 선택한다.
• 주의 메커니즘은 교사 선택기 역할을 하여, 다수의 동료들 중에서 높은 신뢰도를 가진 조언을 걸러내어 학생 에이전트의 행동을 안내한다.
• 프레임워크는 완전히 분산되어 있으며 중앙집중식 크티컬을 피하며, 에이전트가 동시에 교사와 학생 역할을 유연하게 전환할 수 있도록 지원한다.
• 지식 전이는 정책 분산 기반으로 구현되며, 학생 에이전트가 성능이 뛰어난 동료 에이전트의 행동을 모방하도록 학습한다.
• 아키텍처는 전이 학습을 고려하여 설계되었으며, 작은 팀에서 사전 훈련된 주의 메커니즘을 큰 팀에 재사용함으로써 훈련 비용을 절감할 수 있다.

실험 결과

연구 질문

• RQ1 분산형 다중 에이전트 시스템에서 어떻게 효과적이고 안전하게 동료 에이전트들로부터 유용한 행동 지식을 선택하여 학습을 가속화할 수 있는가?
• RQ2 중앙집중식 훈련이나 고정된 전문가 역할에 의존하지 않고도 동적이고 선택적인 지식 전이를 가능하게 하는 메커니즘은 무엇인가?
• RQ3 주의 기반 지식 선택 메커니즘이 단순하거나 필터링되지 않은 조언 공유에 비해 학습 안정성과 성능 향상에 어떻게 기여하는가?
• RQ4 지식 전이 프레임워크가 더 큰 팀 규모와 다양한 작업 구성에 걸쳐 얼마나 잘 확장되고 일반화되는가?
• RQ5 작은 팀에서 사전 훈련된 주의 메커니즘을 큰 팀에 효과적으로 전이할 수 있는가? 성능 유지를 유지하면서 훈련 비용을 줄일 수 있는가?

주요 결과

• PAT는 특히 8~12명의 에이전트가 포함된 복잡한 다중 작업 환경에서 평균 팀 전체 보상 면에서 최신 지식 전이 방법들을 크게 능가한다.
• 12명의 에이전트가 포함된 환경에서는 AdHocTD와 LeCTR가 복잡성 증가와 중앙집중식 조언의 병목 현상으로 인해 성능이 저하되는 반면, PAT는 높은 성능과 확장성을 유지한다.
• 4명의 에이전트에서 훈련된 주의 메커니즘을 8명의 에이전트 환경으로 전이할 경우 PAT는 원래 훈련 성능의 약 90%를 달성하며, 8명에서 12명으로 전이할 경우 93%의 원래 성능을 유지한다.
• 공유된 주의 메커니즘이 효과적인 지식 필터링을 가능하게 하여, 대규모 팀에서의 '과도한 조언'과 성능 저하 위험을 줄였다.
• PAT는 뛰어난 전이 가능성을 보였으며, 전이된 모델이 더 큰 팀에서 완전 재훈련 기반 모델보다 높은 성능을 달성하여 상당한 계산 비용 절감 효과를 보였다.
• 다양한 작업 환경에서는 뛰어난 성능를 보였지만, 팀의 협업(예: 모든 랜드마크 커버)이 요구되는 공동 작업 시나리오에서는 한계를 보였으며, 이는 전역 보상 인식 주의 메커니즘의 필요성을 시사한다.