[논문 리뷰] Learning Hierarchical Teaching Policies for Cooperative Agents

Dong Ki Kim, Miao Liu외 8명|arXiv (Cornell University)|2019. 03. 07.

Reinforcement Learning in Robotics참고 문헌 43인용 수 8

한 줄 요약

이 논문은 계층적 다중에이전트 지도(HMAT)를 소개한다. 이는 계층적 강화학습과 연장된 액션 시퀀스를 사용하여 협동 에이전트가 고수준의 이식 가능한 지도 정책을 학습할 수 있도록 하는 딥 강화학습 프레임워크이다. HMAT는 복잡하고 고차원적인 환경에서의 교사 신용 할당 문제를 해결하여 이전 방법에 비해 팀 전체의 학습 속도를 크게 향상시킨다.

ABSTRACT

Collective learning can be greatly enhanced when agents effectively exchange knowledge with their peers. In particular, recent work studying agents that learn to teach other teammates has demonstrated that action advising accelerates team-wide learning. However, the prior work has simplified the learning of advising policies by using simple function approximations and only considered advising with primitive (low-level) actions, limiting the scalability of learning and teaching to complex domains. This paper introduces a novel learning-to-teach framework, called hierarchical multiagent teaching (HMAT), that improves scalability to complex environments by using the deep representation for student policies and by advising with more expressive extended action sequences over multiple levels of temporal abstraction. Our empirical evaluations demonstrate that HMAT improves team-wide learning progress in large, complex domains where previous approaches fail. HMAT also learns teaching policies that can effectively transfer knowledge to different teammates with knowledge of different tasks, even when the teammates have heterogeneous action spaces.

연구 동기 및 목표

• 복잡하고 고차원적인 협동 다중에이전트 환경에서 이전의 액션 조언 방법의 확장성 한계를 해결하기 위해.
• 조언 시퀀스가 학생의 학습 진전에 미치는 영향을 추정하여 다중에이전트 지도에서 교사 신용 할당 문제를 극복하기 위해.
• 다른 행동 공간과 다른 작업 요구사항을 가진 에이전트 간에 효과적인 지식 전이를 가능하게 하기 위해.
• 시간적으로 연장된 하위 목표와 딥 정책 표현을 사용하는 계층적 지도 프레임워크를 개발하기 위해.

제안 방법

• HMAT는 교사가 원시 액션의 시간적으로 연장된 시퀀스(즉, 하위 목표)를 사용하여 조언할 수 있도록 계층적 강화학습(HRL)을 활용한다. 이는 개별 저수준 액션을 사용하는 것과는 대조된다.
• 이 프레임워크는 다수 수준의 정책 구조를 사용한다: 매니저 수준의 정책이 하위 목표를 생성하고, 워커 수준의 정책이 원시 액션을 실행하며, 조언 수준의 정책이 무엇을 언제 조언할지를 결정한다.
• 새로운 신용 할당 메커니즘이 각 조언 시퀀스가 학생의 학습 진전에 기여하는 정도를 추정하여 교사 정책의 안정적 훈련을 가능하게 한다.
• 조언 수준의 정책은 이산적인 '언제 조언할 것인가' 결정에 대해 기울기 역전파를 수행할 수 있도록 Gumbel-Softmax 추정기를 사용한다. 이는 엔드 투 엔드 훈련을 가능하게 한다.
• 딥 신경망은 학생 정책을 표현하여 이 프레임워크가 큰 상태-액션 공간과 장수명 과제에 확장 가능하게 한다.
• 사전 훈련된 워커 정책는 고정되어 있으며, 매니저 수준의 정책는 학생을 이끄는 하위 목표를 생성하도록 훈련되며, 조언은 매니저 수준에서 제공된다.

실험 결과

연구 질문

• RQ1 이전 방법이 실패하는 복잡하고 고차원적인 협동 다중에이전트 환경에서 계층적 지도 프레임워크가 학습 효율을 향상시킬 수 있는가?
• RQ2 원시 액션 대신 연장된 액션 시퀀스로 조언할 때 교사 신용 할당을 정확히 추정할 수 있는가?
• RQ3 다른 행동 공간이나 다른 작업을 가진 다른 동료에 대해 교사 정책가 얼마나 효과적으로 지식을 전이할 수 있는가?
• RQ4 계층적 정책과 깊이 있는 표현을 사용할 경우 더 빠르고 안정적인 팀 전체의 학습 진전이 이루어지는가?

주요 결과

• HMAT는 이전 방법이 수렴하지 못하는 복잡한 도메인인 COBP와 CTBP에서 팀 전체의 학습 진전 속도를 크게 향상시킨다.
• 이 프레임워크는 다른 행동 공간을 가진 동료에 효과적으로 지식 전이를 가능하게 하여 지도 정책의 강한 일반화 및 이식 가능성(transferability)을 입증한다.
• 실험 결과에 따르면, CR(신용 기반 보상) 교사 보상 함수를 사용한 HMAT가 다른 보상 함수와 기준선 방법에 비해 학습 속도와 안정성 면에서 뛰어나다.
• 연장된 조언 시퀀스와 계층적 정책의 사용은 더 빠른 수렴을 이끌어내며, 훈련 스레드 수가 증가할수록 교사 정책 훈련도 더 빠르게 수렴한다.
• 워커 정책를 사전 훈련하고 훈련 중 고정시키는 것은 학습을 안정화시키며, 매니저 수준의 지도 정책가 고수준의 하위 목표 생성과 조언 시점 결정에 집중할 수 있도록 한다.