[논문 리뷰] Neuroevolution is a Competitive Alternative to Reinforcement Learning for Skill Discovery

Félix Chalumeau, Raphael Boige외 6명|arXiv (Cornell University)|2022. 10. 06.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 품질 다각도(Quality Diversity, QD) 신경진화가 정보이론을 통합한 강화학습(Reinforcement Learning, RL)과 비교해도 경쟁 가능한 스킬 탐색 방법임을 보여준다. 행동 기술 기반 최적화를 통해 다양하고 높은 성능을 내는 정책을 생성할 수 있는 QD의 능력을 활용함으로써, 저자들은 QD 방법이 스킬 다양성, 적응성, 계층적 계획 작업에서 최신 기술 기반 RL 접근법과 비교해 유사하거나 더 뛰어난 성능을 보이며, 초모수 민감도가 낮고 확장성도 뛰어나다는 것을 입증한다.

ABSTRACT

Deep Reinforcement Learning (RL) has emerged as a powerful paradigm for training neural policies to solve complex control tasks. However, these policies tend to be overfit to the exact specifications of the task and environment they were trained on, and thus do not perform well when conditions deviate slightly or when composed hierarchically to solve even more complex tasks. Recent work has shown that training a mixture of policies, as opposed to a single one, that are driven to explore different regions of the state-action space can address this shortcoming by generating a diverse set of behaviors, referred to as skills, that can be collectively used to great effect in adaptation tasks or for hierarchical planning. This is typically realized by including a diversity term - often derived from information theory - in the objective function optimized by RL. However these approaches often require careful hyperparameter tuning to be effective. In this work, we demonstrate that less widely-used neuroevolution methods, specifically Quality Diversity (QD), are a competitive alternative to information-theory-augmented RL for skill discovery. Through an extensive empirical evaluation comparing eight state-of-the-art algorithms (four flagship algorithms from each line of work) on the basis of (i) metrics directly evaluating the skills' diversity, (ii) the skills' performance on adaptation tasks, and (iii) the skills' performance when used as primitives for hierarchical planning; QD methods are found to provide equal, and sometimes improved, performance whilst being less sensitive to hyperparameters and more scalable. As no single method is found to provide near-optimal performance across all environments, there is a rich scope for further research which we support by proposing future directions and providing optimized open-source implementations.

연구 동기 및 목표

• 품질 다각도(Quality Diversity, QD) 신경진화가 스킬 탐색을 위한 실용적인 대안이 될 수 있는지 평가하기.
• 초모수 민감도와 특정 작업 조건에 대한 과적합 등의 문제점을 해결하기 위해 RL 기반 방법의 한계를 해결하기.
• 스킬 다양성, 외부 요동에 대한 적응성, 계층적 계획이라는 세 가지 핵심 지표에서 QD와 RL 기반 알고리즘의 성능을 비교하기.
• 초모수 조정의 복잡성에 의존도를 줄이기 위해 QD 방법의 내구성을 입증하기.
• 평가된 알고리즘의 최적화된 오픈소스 구현을 공개함으로써 향후 연구를 지원하기.

제안 방법

• 저자들은 연속 제어 환경의 세트에서 최신 기술 기반 알고리즘 총 여덟 종류—QD 계열에서 나온 네 가지와 정보이론을 통합한 RL 계열에서 나온 네 가지—를 구현하고 비교하였다.
• QD 방법은 정책을 별개의 행동 영역에 매핑하기 위해 행동 기술 공간을 사용하며, 진화적 선택을 통해 높은 성능이면서 다양한 정책의 복합체를 유지한다.
• RL 기반 방법의 경우, 잠재 변수와 정책 경로 사이의 상호정보량 항을 통해 다양성을 유도하며, 보상은 판별기나 역학 모델을 사용해 형상화된다.
• 보상 함수는 외부 작업 보상과 로그우도 비율에서 유도된 다양성 보상의 조합으로 구성된다: DIAYN의 경우 $ r_{\text{diversity}} = \log q_{\phi}(z|s_{t+1}) - \log p(z) $, DADS의 경우 $ \log q(s_{t+1}|s_t,z) - \log p(s) $.
• SMERL 변종은 임계값 기반 보상 조합을 사용한다: $ r_{\text{SMERL}} = r_t + \delta \beta r_{\text{diversity}} $, 여기서 $ \delta = \mathbb{1}_{R > R^* - \epsilon} $이며, 고성능 에피소드 우선 처리를 위해 설계되었다.
• 모든 방법은 리play 버퍼를 사용하는 비정책 기반 딥 강화학습으로 훈련되며, 정책 파라미터는 정책 기반 최적화를 통해 업데이트된다.

실험 결과

연구 질문

• RQ1 QD 기반 신경진화가 정보이론을 통합한 RL보다 뛰어난 성능을 내며 다양하고 높은 성능의 스킬을 생성할 수 있는가?
• RQ2 스킬 다양성은 행동 기술 커버리지와 잠재 코드 및 경로 간 상호정보량을 측정했을 때 QD와 RL 기반 방법 간 어떻게 비교되는가?
• RQ3 QD로 발견한 스킬의 다양성이 환경적 요동(로봇 형태나 초기 조건의 변화 등)에 대한 적응 과제에서 더 나은 성능을 내는가?
• RQ4 QD로 유도된 스킬이 계층적 계획에서 효과적인 기초 요소로 작용하여 RL 기반 스킬 세트를 능가하거나 동등하게 작용하는가?
• RQ5 QD와 RL 기반 방법은 초모수 조정, 특히 다양성 계수 $ \beta $에 대해 얼마나 민감한가?

주요 결과

• QD 방법은 행동 기술 공간 커버리지와 잠재 코드, 경로 간 상호정보량을 측정한 스킬 다양성 측면에서 최신 RL 기반 방법과 동일하거나 뛰어난 성능을 보였다.
• 외부 요동이 있는 환경에서의 적응 과제에서 QD 기반 정책는 본질적인 행동 다양성 덕분에 더 나은 일반화 성능을 보였다.
• 계층적 계획에서 기초 요소로 사용되었을 때 QD로 유도된 스킬은 특히 탄력적인 정책 조합이 필요한 환경에서 복잡한 다단계 과제를 해결하는 데서 RL 기반 대비 우수하거나 동등한 성능을 보였다.
• QD 방법은 특히 다양성 계수 $ \beta $에 대해 RL 기반 방법보다 훨씬 낮은 초모수 민감도를 보였다.
• 환경 상호작용 횟수가 최대 두 배수 정도 많음에도 불구하고 QD 방법은 더 효과적으로 확장되며 다양한 환경에서 일관된 성능을 유지했다.
• 모든 환경에서 최적 성능을 내는 단일 방법은 존재하지 않았으며, 이는 향후 하이브리드 또는 적응형 신경진화-RL 프레임워크 연구에 풍부한 기회가 있음을 시사한다.