[논문 리뷰] Approximating Gradients for Differentiable Quality Diversity in Reinforcement Learning

Bryon Tjanaka, Matthew C. Fontaine외 2명|arXiv (Cornell University)|2022. 02. 08.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 강화학습(RL) 환경에서 비가역적 환경 동역학을 고려한 미분 가능 품질 다각도(DQD)를 위한 CMA-MEGA 알고리즘의 두 가지 변종을 제안한다. 이는 진화 전략(ES)과 TD3 액터-크리틱 방법을 사용하여 기울기를 근사한다. 이 방법은 비가역적 RL 환경에서도 효율적인 QD 최적화를 가능하게 하며, 한 변종은 QDGym의 네 가지 운동 작업 전반에서 최신 기술 수준인 PGA-MAP-Elites와 유사한 성능을 달성한다.

ABSTRACT

Consider the problem of training robustly capable agents. One approach is to generate a diverse collection of agent polices. Training can then be viewed as a quality diversity (QD) optimization problem, where we search for a collection of performant policies that are diverse with respect to quantified behavior. Recent work shows that differentiable quality diversity (DQD) algorithms greatly accelerate QD optimization when exact gradients are available. However, agent policies typically assume that the environment is not differentiable. To apply DQD algorithms to training agent policies, we must approximate gradients for performance and behavior. We propose two variants of the current state-of-the-art DQD algorithm that compute gradients via approximation methods common in reinforcement learning (RL). We evaluate our approach on four simulated locomotion tasks. One variant achieves results comparable to the current state-of-the-art in combining QD and RL, while the other performs comparably in two locomotion tasks. These results provide insight into the limitations of current DQD algorithms in domains where gradients must be approximated. Source code is available at https://github.com/icaros-usc/dqd-rl

연구 동기 및 목표

• 환경 동역학이 일반적으로 비가역적인 강화학습(RL) 환경에 대해 미분 가능 품질 다각도(DQD)를 확장한다.
• 기존 DQD 알고리즘이 정확한 기울기를 필요로 하는 한계를 해결한다. 이는 표준 RL 환경에서는 기울기가 제공되지 않기 때문이다.
• RL 호환 방법을 사용하여 성능(목표) 함수와 행동(측정) 함수의 기울기를 근사함으로써 효율적인 QD-RL 알고리즘을 개발한다.
• 제안된 방법을 벤치마크 운동 작업에 적용하고, 최신 기술 수준의 QD-RL 알고리즘과의 성능 및 효율성을 비교 평가한다.
• DQD의 RL 환경에서의 기울기 근사 방법에 대한 실용적 지침을 제공하며, 현대 제어 벤치마크에서 더 나은 성능을 보이므로 ES보다 TD3를 권장한다.

제안 방법

• 기울기 근사를 위해 진화 전략(ES)과 TD3 액터-크리틱 방법을 사용하여 CMA-MEGA DQD 알고리즘을 RL에 적응시킨다.
• 두 가지 변종을 도입한다: CMA-MEGA (TD3, ES)는 목표 기울기 근사를 위해 TD3를, 행동 기울기 근사를 위해 ES를 사용하며, CMA-MEGA (ES)는 둘 다 ES를 사용한다.
• 해결책 점 주변의 기울기 계수를 샘플링하고 아카이브 개선을 최대화하기 위해 분포를 업데이트하는 CMA-MEGA 프레임워크를 유지한다.
• 운동 전략의 다양성을 보장하기 위해 운동 작업에서 발 사용 패턴을 기반으로 한 행동 측정 기준을 정의한다.
• 기울기 근사를 CMA-MEGA 최적화 루프에 통합하여, 기울기가 분석적으로 제공되지 않는 경우에도 DQD 스타일의 탐색을 수행할 수 있도록 한다.
• 평가를 위해 QDGym 환경을 PyBullet 기반으로 사용하며, 알고리즘 간 성능 비교를 위한 주요 지표로 QD 점수 AUC를 사용한다.

실험 결과

연구 질문

• RQ1 정확한 기울기가 제공되지 않는 강화학습(RL) 환경에서, 미분 가능 품질 다각도(DQD)를 효과적으로 적용할 수 있는가?
• RQ2 진화 전략(ES)과 TD3와 같은 기울기 근사 방법은 RL 환경에서 DQD 최적화를 지원하는 데 있어 어떤 정도의 성능을 보이는가?
• RQ3 제안된 CMA-MEGA 변종의 성능은 QD-RL 벤치마크에서 최신 기술 수준인 PGA-MAP-Elites와 비교해 어떻게 되는가?
• RQ4 기울기 근사 방법의 효율성이 복잡한 운동 작업에서 수렴성과 최종 QD 점수에 어떤 영향을 미치는가?
• RQ5 특정 환경, 예를 들어 QD Hopper와 QD Walker에서 어떤 기울기 근사 방법(예: TD3)이 다른 방법(예: ES)보다 우수한가? 그 이유는 무엇인가?

주요 결과

• CMA-MEGA (TD3, ES)는 QDGym의 네 가지 운동 작업 전반에서 최신 기술 수준인 PGA-MAP-Elites와 유사한 QD 점수 성능을 달성했다.
• CMA-MEGA (TD3, ES)는 유사한 최종 QD 점수를 달성했음에도 불구하고, QD Ant와 QD Hopper에서는 PGA-MAP-Elites보다 효율성이 떨어졌다.
• CMA-MEGA (ES)는 QD Half-Cheetah와 QD Walker의 두 가지 작업에서 PGA-MAP-Elites와 유사한 성능을 보였지만, QD Ant와 QD Hopper에서는 상당히 열등했다.
• CMA-MEGA 변종에서는 아카이브 삽입 수가 500,000으로 ME-ES보다 높아 아카이브 개선이 더 우수했음에도 불구하고, 평가 효율은 낮았다.
• QD Hopper와 QD Walker에서 TD3 기반의 목표 기울기 근사가 ES 기반의 기울기 근사보다 더 효과적이었으며, 이는 QDGym에서 보상 설계 신호가 깊은 강화학습 최적화를 유도하기 때문일 것이다.
• MAP-Elites는 QD Hopper에서 CMA-MEGA 변종보다 더 높은 QD 점수를 기록했지만, 그 해결책은 덜 안정적이었으며, 이는 성능와 안정성 사이의 상충 관계를 보여준다.