[논문 리뷰] An Efficient Transfer Learning Framework for Multiagent Reinforcement Learning

Tianpei Yang, Weixun Wang외 10명|arXiv (Cornell University)|2020. 02. 19.

Reinforcement Learning in Robotics인용 수 10

한 줄 요약

이 논문은 다중 에이전트 강화학습(MARL)의 효율성을 향상시키기 위해 정책 전이를 옵션 학습 문제로 모델링하는 다중에이전트 정책 전이 프레임워크(MAPTF)를 제안한다. 부분 관찰 환경에서 발생하는 일관되지 않은 국소적 경험 문제를 해결하기 위해 성공자 표현 옵션(SRO) 학습을 활용함으로써, MAPTF는 정책 재사용의 적절한 선택과 종료를 적응적으로 수행하며, 기존의 딥 RL 방법과 조합했을 때 이산 및 연속 환경 전반에서 성능을 크게 향상시킨다.

ABSTRACT

Transfer Learning has shown great potential to enhance single-agent Reinforcement Learning (RL) efficiency. Similarly, Multiagent RL (MARL) can also be accelerated if agents can share knowledge with each other. However, it remains a problem of how an agent should learn from other agents. In this paper, we propose a novel Multiagent Policy Transfer Framework (MAPTF) to improve MARL efficiency. MAPTF learns which agent's policy is the best to reuse for each agent and when to terminate it by modeling multiagent policy transfer as the option learning problem. Furthermore, in practice, the option module can only collect all agent's local experiences for update due to the partial observability of the environment. While in this setting, each agent's experience may be inconsistent with each other, which may cause the inaccuracy and oscillation of the option-value's estimation. Therefore, we propose a novel option learning algorithm, the successor representation option learning to solve it by decoupling the environment dynamics from rewards and learning the option-value under each agent's preference. MAPTF can be easily combined with existing deep RL and MARL approaches, and experimental results show it significantly boosts the performance of existing methods in both discrete and continuous state spaces.

연구 동기 및 목표

• 다중에이전트 강화학습(MARL)에서 여러 에이전트 간 지식 전이의 비효율성 문제를 해결하기 위해.
• 부분 관찰 환경에서 발생하는 국소적 경험의 일관성 문제로 인한 불안정성과 정확도 저하 문제를 극복하기 위해.
• 동적으로 어떤 에이전트의 정책을 재사용할지 선택하고 언제 종료할지 제어할 수 있는 적응적이고 확장 가능한 정책 전이 프레임워크를 개발하기 위해.
• 기존의 딥 강화학습 및 MARL 알고리즘과의 원활한 통합을 가능하게 하여 광범위한 적용 가능성을 확보하기 위해.
• 원칙적인 정책 전이를 통해 이산 및 연속 상태공간에서 표본 효율성과 학습 속도를 향상시키기 위해.

제안 방법

• MAPTF는 각 에이전트가 다른 에이전트의 정책를 옵션으로 선택하고 활용하는 방식으로 다중에이전트 정책 전이를 옵션 학습 문제로 모델링한다.
• 전이된 정책를 재사용하는 것을 막기 위해 종료 확률 메커니즘을 도입하여 부정적 전이를 방지한다.
• 부분 관찰 환경에서 발생하는 일관되지 않은 국소적 경험 문제를 해결하기 위해, 환경의 동역학과 보상을 분리하고 각 에이전트의 개별 선호도에 따라 옵션 가치를 학습하는 성공자 표현 옵션(SRO) 학습을 적용한다.
• SRO 알고리즘은 각 에이전트의 정책 하에서 상태 방문 패턴을 캡처하는 성공자 표현을 학습함으로써, 경험의 분리가 발생하더라도 견고한 옵션 가치 추정이 가능하게 한다.
• 시간에 따라 감쇠하는 요소 $ f(t) = 0.5 + \tanh(3 - \mu t)/2 $ 를 포함한 가중치 정책 모방 목표를 사용하여, 에이전트가 경험을 쌓을수록 전이 효과가 점차 줄어들도록 한다.
• MAPTF는 기존의 MARL 및 딥 RL 알고리즘과 호환되어 성능 향상을 위한 플러그 앤 플레이 통합이 가능하다.

실험 결과

연구 질문

• RQ1 다중에이전트 강화학습에서 여러 에이전트 간 지식을 효율적이고 적응적으로 전이하는 방법은 무엇인가?
• RQ2 에이전트가 부분 관찰로 인해 일관되지 않은 국소적 경험을 가질 경우, 옵션 가치 추정의 안정성과 정확성을 확보하기 위한 메커니즘은 무엇인가?
• RQ3 정책 전이를 어떻게 동적으로 제어하여 부정적 전이를 방지하면서도 학습 효율성을 극대화할 수 있는가?
• RQ4 기존의 딥 RL 및 MARL 알고리즘과의 호환성을 유지하면서 아키텍처 변경 없이도 적용 가능한 전이 프레임워크를 설계할 수 있는가?
• RQ5 적응적 정책 전이가 이산 및 연속 상태공간에서 표본 효율성과 성능 향상에 얼마나 기여하는가?

주요 결과

• MAPTF는 이산 및 연속 상태공간 환경에서 기존의 MARL 방법의 학습 성능을 크게 향상시킨다.
• 성공자 표현 옵션(SRO) 학습은 부분 관찰 환경에서 발생하는 일관되지 않은 국소적 경험으로 인한 옵션 가치 추정의 불안정성과 정확도 저하 문제를 효과적으로 완화한다.
• 시간 감쇠 가중치 요소를 활용한 적응적 전이 메커니즘은 부정적 전이를 줄이고 수렴 안정성을 향상시킨다.
• DVM, LTCR, PAT 등의 기준 기반 방법과 비교해 더 높은 표본 효율성과 더 빠른 수렴 속도를 달성한다.
• MAPTF는 다양한 딥 강화학습 및 MARL 알고리즘과의 원활한 통합 능력과 뛰어난 일반화 성능을 보이며, 특히 복잡한 부분 관찰 환경에서 뛰어난 성능을 발휘한다.
• 실증 결과는 MAPTF가 다중에이전트 환경에서 기존의 전이 학습 기반 방법들을 뛰어넘는 성능을 보임을 보여준다.