[논문 리뷰] Diversity Policy Gradient for Sample Efficient Quality-Diversity Optimization

Thomas Pierrot, Mac\'e, Valentin외 7명|arXiv (Cornell University)|2020. 06. 15.

Reinforcement Learning in Robotics참고 문헌 37인용 수 13

한 줄 요약

이 논문은 연속 제어 환경에서 샘플 효율적으로 다양한 고성능 신경 정책를 발견할 수 있도록 정책 그래เดียน트 방법과 새로운 다양성 정책 그래디언트(DPG)를 융합한 새로운 품질-다양성(Quality-Diversity) 알고리즘인 qd-pg를 제안한다. 상태 수준과 에피소드 수준에서 그래디언트 기반 변이를 활용함으로써, qd-pg는 유전적 알고리즘 및 정책 그래디언트 기반 베이스라인에 비해 위험한 보상이 희박하거나 오류를 유도하는 제어 과제에서 더 높은 샘플 효율성과 강건성을 달성한다.

ABSTRACT

A fascinating aspect of nature lies in its ability to produce a large and diverse collection of organisms that are all high-performing in their niche. By contrast, most AI algorithms focus on finding a single efficient solution to a given problem. Aiming for diversity in addition to performance is a convenient way to deal with the exploration-exploitation trade-off that plays a central role in learning. It also allows for increased robustness when the returned collection contains several working solutions to the considered problem, making it well-suited for real applications such as robotics. Quality-Diversity (QD) methods are evolutionary algorithms designed for this purpose. This paper proposes a novel algorithm, QDPG, which combines the strength of Policy Gradient algorithms and Quality Diversity approaches to produce a collection of diverse and high-performing neural policies in continuous control environments. The main contribution of this work is the introduction of a Diversity Policy Gradient (DPG) that exploits information at the time-step level to drive policies towards more diversity in a sample-efficient manner. Specifically, QDPG selects neural controllers from a MAP-Elites grid and uses two gradient-based mutation operators to improve both quality and diversity. Our results demonstrate that QDPG is significantly more sample-efficient than its evolutionary competitors.

연구 동기 및 목표

• 성능뿐 아니라 해법의 다양성을 증진시킴으로써 강화학습에서 탐색과 이용의 갈등을 해결한다.
• 희박하거나 오해의 소지가 있는 보상이 학습을 막는 위험한 환경에서 표준 정책 그래디언트 방법의 한계를 극복한다.
• 무작위 변이를 그래디언트 기반 다양성 탐색으로 대체함으로써 품질-다양성(QD) 최적화의 샘플 효율성을 향상시킨다.
• 단일 학습 런 동안 다양한 고성능 정책을 생성함으로써 실세계 로봇 응용 분야에서 강건한 다중 해법 결과를 달성한다.
• 품질과 다양성 목표를 분리된 업데이트 방식으로 조합함으로써, 공동 최적화에 비해 더 나은 성능과 탐색 성능을 달성할 수 있음을 보여준다.

제안 방법

• 정책 성능뿐만 아니라 상태 수준과 에피소드 수준에서의 행동 다양성에 대한 그래디언트도 계산하는 다양성 정책 그래디언트(DPG)를 제안한다.
• MAP-Elites 프레임워크에 DPG를 통합하여, 행동 기술서(BD)를 사용해 정책을 다양한 행동의 격자로 매핑한다.
• 재사용 가능한 전이 기록 버퍼를 사용하여, 한 트레이젝터리당 한 번의 샘플만 사용하는 방법에 비해 데이터 효율성을 향상시킨다.
• 품질(표준 정책 그래디언트)과 다양성(DPG)을 위한 두 개의 별도 그래디언트 업데이트를 적용하며, 그래디언트 갈등을 방지하기 위해 분리된 최적화를 사용한다.
• 상태 공간에서의 신선도를 활용하여 상태 수준의 다양성을 측정함으로써, Ant-Maze와 같은 과제에서 3000개 이상의 전이를 모두 활용할 수 있도록 한다.
• 분리된 정책 그래디언트를 기반으로 한 분석적 그래디언트를 사용하여 무작위 변형이 아닌 효율적인 가중치 업데이트를 가능하게 하는 오프-폴리시 강화학습을 사용해 신경 정책을 훈련시킨다.

실험 결과

연구 질문

• RQ1 고차원 제어 과제에 대해, 그래디언트 기반 다양성 탐색 메커니즘이 품질-다양성 최적화에서 무작위 변이를 능가할 수 있는가?
• RQ2 품질과 다양성 목표를 분리된 정책 그래디언트를 통해 조합할 경우, 공동 최적화에 비해 더 나은 샘플 효율성과 해법 다양성을 달성할 수 있는가?
• RQ3 qd-pg는 희박한 보상을 가진 위험한 제어 문제를 해결하는 데 있어 최신 정책 그래디언트 및 유전적 방법에 비해 어떻게 비교되는가?
• RQ4 DPG 구성 요소에서 상태 수준의 다양성을 사용할 경우, 복잡한 환경에서 탐색과 수렴에 얼마나 기여하는가?
• RQ5 제안된 방법은 표준 강화학습 방법이 실패하는 상황에서도 단일 학습 런 동안 강건하고 다양한 고성능 정책을 생성할 수 있는가?

주요 결과

• qd-pg는 전통적인 유전적 QD 방법에 비해 샘플 효율성이 크게 향상되어 샘플 요구량을 수 개의 주기수로 감소시킨다.
• Ant-Trap 및 Ant-Maze와 같은 위험한 환경에서, 표준 정책 그래디언트 방법(TD3, SAC 등)이 국소 최소점에 갇히는 동안 qd-pg는 고성능이고 다양한 정책을 성공적으로 발견한다.
• final performance와 데이터 효율성 측면에서 qd-pg는 pga-me를 모두 능가하여 고차원 공간에서 그래디언트 기반 다양성 탐색이 유전적 변이보다 뛰어남을 입증한다.
• 절단 실험을 통해 품질 최적화만을 수행할 경우 보상 함정으로 인해 위험한 환경에서 실패하고, 다양성 최적화만을 수행할 경우 수렴 속도가 느리고 성능이 낮아짐을 확인한다.
• 품질과 다양성 업데이트를 분리함으로써 공동 최적화에 비해 더 나은 학습 역학과 최종 결과를 달성하며, 공동 최적화는 상충하는 그래디언트로 인해 어려움을 겪는다.
• Ant-Maze에서 qd-pg는 높은 사분위수 성능 분포를 보이며, 초기화 민감성 또는 복잡한 경로의 역학으로 인해 일부 시점에서 학습 과정이 불안정할 수 있음을 시사한다.