[논문 리뷰] Benchmarking Quality-Diversity Algorithms on Neuroevolution for Reinforcement Learning

Manon Flageat, Bryan Lim외 4명|arXiv (Cornell University)|2022. 11. 04.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 강화학습 분야의 딥 뉴로에볼루션에서 품질-다양성(Quality-Diversity, QD) 알고리즘을 평가하기 위한 표준화된 벤치마크 세트를 소개한다. 이 벤치마크는 복잡도가 다른 여섯 가지 로봇 제어 환경을 포함하며, 고차원적 탐색 공간과 환경의 난류성에 대응하는 메트릭을 제안한다. 분석 결과, 표준 QD 알고리즘인 MAP-Elites는 '운좋은' 해법으로 인해 성능 저하를 겪는 반면, 난류성 조건 하에서 랜덤 서치는 더 견고한 정책을 도출함을 확인하였다.

ABSTRACT

We present a Quality-Diversity benchmark suite for Deep Neuroevolution in Reinforcement Learning domains for robot control. The suite includes the definition of tasks, environments, behavioral descriptors, and fitness. We specify different benchmarks based on the complexity of both the task and the agent controlled by a deep neural network. The benchmark uses standard Quality-Diversity metrics, including coverage, QD-score, maximum fitness, and an archive profile metric to quantify the relation between coverage and fitness. We also present how to quantify the robustness of the solutions with respect to environmental stochasticity by introducing corrected versions of the same metrics. We believe that our benchmark is a valuable tool for the community to compare and improve their findings. The source code is available online: https://github.com/adaptive-intelligent-robotics/QDax

연구 동기 및 목표

• 강화학습(RL) 도메인에서 딥 뉴로에볼루션에 대한 품질-다양성(QD) 알고리즘 평가를 위한 표준화된 벤치마크 부족 문제를 해결하기 위해.
• 고차원 신경망 탐색 공간과 환경의 난류성이라는 이중적 과제를 고려한 평가 메트릭을 체계화하기 위해.
• 로봇 제어 작업을 위한 QD 기반 뉴로에볼루션에서 공정한 비교와 재현 가능성을 확보하기 위해.
• 적절한 변동성 보정 메트릭을 통해 환경의 난류성 하에서 해의 견고성을 정량화하기 위해.
• 기존 QD 알고리즘이 난류성 환경에서의 한계를 입증하기 위해, 특히 단일 평가에서 높은 점수를 받지만 평균적으로는 불안정한 '운좋은' 정책을 선호하는 위험을 드러내기 위해.

제안 방법

• 벤치마크는 Brax 시뮬레이터 내의 여섯 개 환경(Hopper, Walker, Half-Cheetah, Ant, Humanoid, Hexapod)에서 단일 방향 및 옴니-방향 이동 두 가지 작업을 정의한다.
• 각 환경에 맞게 행동 기술자(behavioral descriptors, BDs)와 적합도 함수를 설정하며, 아카이브 셀 수는 BD의 차원 수와 분할 수에 따라 결정된다(예: 30², 5⁴, 100²).
• 환경의 난류성에 대응하기 위해 개별 개체에 대한 다중 평가를 활용하여 표준 QD 메트릭(커버리지, QD-스코어, 최대 적합도, 아카이브 프로파일)의 보정된 형태를 제안한다.
• QD-스코어는 아카이브 프로파일 곡선 아래 면적과 수학적으로 비례함을 수립하며, 정규화된 적합도의 적분과 비례함을 보여준다.
• 견고성은 적합도의 난류성 변동성을 보정한 후 커버리지 및 QD-스코어의 감소를 측정하는 '손실(loss)' 메트릭을 통해 정량화한다.
• 벤치마크는 QDax 라이브러리에 구현되어 공개되어 있어 재현성과 공동체 수준의 평가를 지원한다.

실험 결과

연구 질문

• RQ1 MAP-Elites 및 CVT-MAP-Elites와 같은 표준 QD 알고리즘은 형태학적 및 환경적 복잡도가 증가하는 다양한 로봇 제어 작업에서 어떻게 성능을 보일까?
• RQ2 환경의 난류성이 딥 뉴로에볼루션에서 QD로 생성된 정책의 성능과 견고성에 얼마나 심각하게 악영향을 미칠까?
• RQ3 난류성 변동성을 고려한 보정 메트릭은 표준 메트릭이 간과하는 QD 알고리즘의 숨겨진 결함을 드러내는가?
• RQ4 어떤 QD 알고리즘이 단일 평가에서는 잘 수행되지만 평균적으로는 열등한 성능을 보이는 '운좋은' 해법을 선호하는가?
• RQ5 견고성이 우선시될 경우, 랜덤 서치는 QD 알고리즘보다 성능이 어떻게 다를까?

주요 결과

• MAP-Elites와 CVT-MAP-Elites는 높은 커버리지와 QD-스코어를 달성했지만, 보정된 커버리지 및 QD-스코어에서 각각 80%의 손실을 기록하여 난류성 조건 하에서의 낮은 견고성을 보여주었다.
• 최적화 편향이 없는 랜덤 서치는 더 견고한 해를 생성했으며, 이는 유의미하게 낮은 손실 메트릭을 통해 입증되었다. 이는 운좋은 평가에 과도하게 피팅되지 않는다는 것을 시사한다.
• 보정된 최대 적합도 메트릭은 다른 보정 메트릭과 비교해 더 높은 변동성을 보였는데, 이는 단일 개체에 의존하기 때문에 개별 이상치에 민감하기 때문이다.
• CVT-MAP-Elites 알고리즘은 보통의 MAP-Elites보다 계산 시간이 더 오래 걸렸는데, 이는 바르코노이 타일링(Voronoi tessellation)의 비용 때문이었지만, 성능 차이는 미미했다.
• 아카이브 프로파일 곡선 아래 면적은 QD-스코어와 수학적으로 비례함을 증명하였으며, 이는 정규화된 적합도를 사용할 경우 성능 대사로의 활용이 타당함을 검증한다.
• 벤치마크는 표준 QD 메트릭이 난류성으로 인한 성능 저하를 감지하지 못함을 드러내었으며, 신뢰할 수 있는 평가를 위해 보정된 메트릭이 필수적임을 시사한다.