[논문 리뷰] Mix & Match Agent Curricula for Reinforcement Learning

Wojciech Marian Czarnecki, Siddhant M. Jayakumar외 6명|arXiv (Cornell University)|2018. 06. 05.

Reinforcement Learning in Robotics참고 문헌 20인용 수 29

한 줄 요약

Mix & Match (M&M)는 강화학습을 위한 커리큘럼 학습 프레임워크로, 복잡한 타겟 에이전트를 단계적으로 더 단순하고 학습이 쉬운 에이전트 변종들로부터 지식을 흡수함으로써 훈련한다. 이는 정책의 동적 혼합과 KL 발산 기반 흡수를 통해 이루어지며, 큰 행동 공간이나 복잡한 아키텍처를 가진 에이전트의 더 빠르고 안정적인 훈련을 가능하게 하여, 표준 방법에 비해 3D 환경에서 뛰어난 성능을 달성한다.

ABSTRACT

We introduce Mix&Match (M&M) - a training framework designed to facilitate rapid and effective learning in RL agents, especially those that would be too slow or too challenging to train otherwise. The key innovation is a procedure that allows us to automatically form a curriculum over agents. Through such a curriculum we can progressively train more complex agents by, effectively, bootstrapping from solutions found by simpler agents. In contradistinction to typical curriculum learning approaches, we do not gradually modify the tasks or environments presented, but instead use a process to gradually alter how the policy is represented internally. We show the broad applicability of our method by demonstrating significant performance gains in three different experimental setups: (1) We train an agent able to control more than 700 actions in a challenging 3D first-person task; using our method to progress through an action-space curriculum we achieve both faster training and better final performance than one obtains using traditional methods. (2) We further show that M&M can be used successfully to progress through a curriculum of architectural variants defining an agents internal state. (3) Finally, we illustrate how a variant of our method can be used to improve agent performance in a multitask setting.

연구 동기 및 목표

• 초기부터 직접 훈련하기에는 너무 느리거나 불안정한 복잡한 강화학습 에이전트를 훈련하는 데 도전하는 것.
• 기존 커리큘럼 학습의 한계를 극복하기 위해, 작업 수준의 수정이 필요하고 환경 설계가 고정된 경우 적용 불가능한 상황을 고려하는 것.
• 환경 수정 없이도 단순하고 학습이 쉬운 에이전트에서 복잡한 최종 타겟 에이전트로 지식 전이를 가능하게 하는 아키텍처 커리큘럼 방법을 개발하는 것.
• 큰 행동 공간이나 복잡한 에이전트 아키텍처를 가진 도전적인 3D 환경에서 데이터 효율성과 최종 성능을 향상시키는 것.
• 환경 또는 작업 사양 수정 없이도 다양한 강화학습 설정에 일반화 가능하도록 적용 가능한 프레임워크를 제공하는 것.

제안 방법

• 프레임워크는 혼합 정책 πmm = Σ αiπi를 사용하며, 여기서 αi 는 훈련 중에 변화하는 혼합 계수로, 단순한 에이전트에서 복잡한 에이전트로 점차 이동한다.
• 지식 흡수를 위해 KL 발산 손실을 적용한다: L = (1−α)DKL(π1∥π2), 이는 복잡한 에이전트가 훈련 초반에 단순한 에이전트의 행동을 따라하도록 유도한다.
• 혼합 계수 α 는 α1=1 (단지 단순한 에이전트) 에서부터 αK=1 (단지 타겟 에이전트) 로 점차 증가하여, 에이전트 아키텍처에 대한 커리큘럼을 가능하게 한다.
• 이 방법은 행동 공간 커리큘럼(행동 공간 크기 변화)과 아키텍처 커리큘럼(내부 상태 표현 방식 변화)을 모두 지원한다.
• 흡수 과정은 훈련 중 실시간으로 적용되며, 최종 정책는 경험 수집에 단지 타겟 에이전트의 정책만 사용한다.
• 이 방법은 표준 강화학습 알고리즘과 호환되며, 환경 수정이 가능한 경우 작업 기반 커리큘럼과도 조합 가능하다.

실험 결과

연구 질문

• RQ1 작업이 아닌 에이전트 아키텍처에 대한 커리큘럼이 딥 강화학습에서 훈련 효율성과 최종 성능을 향상시킬 수 있는가?
• RQ2 환경 수정 없이도 단순하고 학습이 쉬운 에이전트에서 복잡한 타겟 에이전트로 지식을 효과적으로 전이할 수 있는가?
• RQ3 정책 혼합과 흡수를 통한 점진적 훈련이 큰 행동 공간을 가진 3D 환경에서 빠른 수렴과 더 나은 최종 성능을 이끌 수 있는가?
• RQ4 M&M 프레임워크는 순환형 또는 메모리 증강 네트워크와 같은 복잡한 내부 상태 표현을 가진 에이전트 훈련에 적용될 수 있는가?
• RQ5 동적 정책 혼합이 표준 훈련 방식과 비교해 학습 안정성과 데이터 효율성에 어떤 영향을 미치는가?

주요 결과

• 700개 이상의 행동을 가진 3D 1인칭 탐색 작업에서 M&M는 표준 방법에 비해 더 빠른 훈련과 더 나은 최종 성능를 달성했다.
• 이전에는 직접 훈련하기에 너무 어려웠던 큰 행동 공간을 가진 복잡한 에이전트의 성공적인 훈련을 가능케 하였다.
• 다중 작업 설정에서 아키텍처 변종의 커리큘럼을 통해 효과적인 학습을 가능하게 하여 성능 향상을 이룬 바 있다.
• 시간에 따라 변화하는 혼합 정책와 함께 사용된 흡수로 안정적인 지식 전이가 이루어졌고, 훈련의 불안정성이 감소하였다.
• 행동 공간 크기와 내부 아키텍처의 복잡성에 관계없이 다양한 유형의 에이전트 복잡성에 대해 광범위한 적용 가능성을 입증하였다.
• 실험 결과, 시간에 따라 변화하는 α 를 사용한 제안된 흡수 손실이 복잡한 에이전트가 단순한 이전 에이전트의 행동으로 유도하는 데 효과적이었다.