[논문 리뷰] Agent Modeling as Auxiliary Task for Deep Reinforcement Learning

Pablo Hernández-Leal, Bilal Kartal외 1명|arXiv (Cornell University)|2019. 07. 22.

Reinforcement Learning in Robotics인용 수 15

한 줄 요약

이 논문은 에이전트 모델링을 보조 작업으로 사용하여 정책 및 가치 함수 학습을 향상시키는 두 가지 A3C 기반 딥 강화학습 아키텍처—AMS-A3C(파라미터 공유)와 AMF-A3C(정책 특징 기반)—을 제안한다. 두 아키텍처 모두 훈련을 안정화시키며, 협동적 및 경쟁적 다중에이전트 환경에서 표준 A3C보다 뛰어난 성능을 보이며, 더 높은 기대 보상과 더 나은 협동 또는 상대 행동의 이용을 달성한다.

ABSTRACT

In this paper we explore how actor-critic methods in deep reinforcement learning, in particular Asynchronous Advantage Actor-Critic (A3C), can be extended with agent modeling. Inspired by recent works on representation learning and multiagent deep reinforcement learning, we propose two architectures to perform agent modeling: the first one based on parameter sharing, and the second one based on agent policy features. Both architectures aim to learn other agents' policies as auxiliary tasks, besides the standard actor (policy) and critic (values). We performed experiments in both cooperative and competitive domains. The former is a problem of coordinated multiagent object transportation and the latter is a two-player mini version of the Pommerman game. Our results show that the proposed architectures stabilize learning and outperform the standard A3C architecture when learning a best response in terms of expected rewards.

연구 동기 및 목표

• 에이전트 모델링을 보조 작업으로 통합하여 다중에이전트 환경에서 딥 강화학습의 성능을 향상시키는 것.
• 주 정책 및 가치 함수 학습과 함께 다른 에이전트의 정책을 학습하는 것이 학습 안정성과 성능을 향상시키는지 조사하는 것.
• 온정책 A3C 프레임워크 내에서 파라미터 공유 및 정책 특징 기반 모델링이라는 두 가지 다른 아키텍처의 효과성을 탐색하는 것.
• 제안된 방법을 협동(다중에이전트 물체 운반) 및 경쟁(미니-포머맨) 환경에서 평가하는 것.
• 보조 에이전트 모델링이 협동 환경에서의 더 나은 협동과 경쟁 환경에서의 더 효과적인 최적 반응 전략을 이끌어내는지 증명하는 것.

제안 방법

• 학습 에이전트의 정책 네트워크와 상대 또는 팀원의 정책을 모델링하는 공유 네트워크를 함께 훈련하기 위해 파라미터 공유를 사용하는 AMS-A3C를 제안한다.
• 관측에서 유도된 정책 특징을 사용하여 상대 정책의 잠재 표현을 학습하고, 이를 액터 및 크리틱 네트워크의 입력으로 사용하는 AMF-A3C를 도입한다.
• A3C 프레임워크 내에서 표준 정책 및 가치 함수 손실과 함께 에이전트 모델링을 보조 손실로 통합한다.
• 경험 재현 없이 온정책 학습을 사용하여 A3C의 비동기적 실시간 훈련 철학을 유지한다.
• 보조 에이전트 모델링 손실과 주 강화학습 목표 간의 균형을 맞추기 위해 하이퍼파라미터 λAM을 사용한다.
• 학습된 표현을 분석하기 위해 t-SNE 시각화를 적용하여 A3C와 제안된 모델 간의 활성화 패턴을 비교한다.

실험 결과

연구 질문

• RQ1 에이전트 정책 모델링을 보조 작업으로 사용하면 딥 강화학습의 학습 안정성과 성능이 향상되는가?
• RQ2 에이전트 모델링에 있어 파라미터 공유 방식과 정책 특징 학습 방식 간의 성능 및 수렴 속도는 어떻게 비교되는가?
• RQ3 보조 에이전트 모델링이 협동적 다중에이전트 작업에서의 협동 능력 향상과 경쟁적 환경에서의 최적 반응 전략 개선에 기여하는가?
• RQ4 t-SNE 시각화를 통해 학습된 상태 표현의 질을 분석했을 때, 에이전트 모델링이 표현 학습을 얼마나 향상시키는가?
• RQ5 제안된 아키텍처가 미니-포머맨과 같은 복잡하고 확률적인 환경에서 표준 A3C를 능가할 수 있는가?

주요 결과

• 협동적 다중에이전트 물체 운반 작업에서 AMS-A3C와 AMF-A3C는 표준 A3C보다 높은 기대 보상을 달성하며, 더 빠르고 더 견고한 협동을 보였다.
• 경쟁적 미니-포머맨 환경에서 두 제안 아키텍처 모두 A3C보다 더 높은 보상을 기록했으며, AMS-A3C는 350만 번째 에피소드부터 통계적으로 유의미한 성과를 보였다(α=0.05).
• 특히 '고집스러운' 팀원 상황에서 비결정적 팀원을 대응할 때 AMS-A3C와 AMF-A3C는 더 높은 안정성과 낮은 분산을 보였다.
• AMS-A3C로 훈련된 에이전트는 물체를 抓은 후 A3C보다 목표지점에 더 빨리 도달하는 데 성공하여 더 나은 협동 능력을 보였다.
• 경쟁 영역에서는 AMS-A3C와 AMF-A3C가 상대의 행동을 이용하는 전략—예를 들어, 상대가 자살을 유도하는 이동을 차단하는 것—을 학습하여 더 높은 점수를 기록했다.
• t-SNE 시각화 결과, AMS-A3C는 더 구조적이고 의미 있는 상태 표현을 학습했으며, 승리 상태(값 ≈ 1)에 해당하는 명확한 클러스터를 형성하여 상대 행동 예측 능력이 향상됨을 시사했다.