[논문 리뷰] Training Diverse High-Dimensional Controllers by Scaling Covariance Matrix Adaptation MAP-Annealing

Bryon Tjanaka, Matthew C. Fontaine외 3명|arXiv (Cornell University)|2022. 10. 06.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 계산 자원이 제한된 환경에서 고차원 신경망 컨트롤러를 효율적으로 훈련시킬 수 있도록 확장 가능한 공분산 행렬 적응 MAP-냉각(Covariance Matrix Adaptation MAP-Annealing, CMA-MAE)의 변종을 제안한다. 기존의 이차 복잡도를 가지는 CMA-ES 대신 희소하고 효율적인 근사치를 사용함으로써, 깊은 강화학습 기반 기준 대비 훈련 시간을 크게 단축하면서도 저감된 초파rameter 민감도와 함께 로봇 운동 제어 작업에서 최신 기술 수준의 품질 다양성 성능을 달성한다.

ABSTRACT

Pre-training a diverse set of neural network controllers in simulation has enabled robots to adapt online to damage in robot locomotion tasks. However, finding diverse, high-performing controllers requires expensive network training and extensive tuning of a large number of hyperparameters. On the other hand, Covariance Matrix Adaptation MAP-Annealing (CMA-MAE), an evolution strategies (ES)-based quality diversity algorithm, does not have these limitations and has achieved state-of-the-art performance on standard QD benchmarks. However, CMA-MAE cannot scale to modern neural network controllers due to its quadratic complexity. We leverage efficient approximation methods in ES to propose three new CMA-MAE variants that scale to high dimensions. Our experiments show that the variants outperform ES-based baselines in benchmark robotic locomotion tasks, while being comparable with or exceeding state-of-the-art deep reinforcement learning-based quality diversity algorithms.

연구 동기 및 목표

• 제한된 컴퓨팅 예산 내에서 고성능의 다양한 신경망 컨트롤러를 로봇 운동 제어에 적용하기 위한 과제를 해결하기 위해.
• CMA-MAE의 이차 시간 복잡도로 인해 수천에서 수백만 개의 파라미터를 가진 고차원 컨트롤러로의 확장성이 제한되는 문제를 해결하기 위해.
• 로봇 제어를 위한 깊은 강화학습 기반의 품질 다양성 알고리즘에 대한 효율적이고 초파rameter가 적은 대안을 개발하기 위해.
• 훈련 시간과 계산 오버헤드를 줄여 실제 로봇 공학 응용 분야에 품질 다양성 알고리즘을 실용적으로 구현할 수 있도록 하기 위해.
• 진화 전략 기반 방법이 깊은 강화학습 기반 QD 알고리즘의 최신 기술 수준에 도달하거나 이를 초월할 수 있으며, 더 효율적이고 조정이 쉬운지를 입증하기 위해.

제안 방법

• CMA-ES의 전 Rank 공분산 행렬을 희소하고 저랭크 근사치로 대체하여 샘플당 시간 복잡도를 O(n²)에서 O(n)으로 감소시키는 세 가지 새로운 CMA-MAE 변종을 제안한다.
• 핵심 CMA-MAE 프레임워크 유지: 평균 φ*와 근사 공분산 행렬 Σ̃를 가진 가우시안 탐색 분포를 사용하며, 진화 전략 피드백을 통해 업데이트한다.
• 측정 공간에서의 탐색과 목적 최적화를 균형 있게 유지하기 위해 셀 별 임계값과 향상 피드백 Δi를 포함한 소프트 아카이브를 통합한다.
• 탐색과 이용 사이의 균형을 조절하기 위해 단일 초파rameter α ∈ [0,1]을 사용하며, 원래 CMA-MAE와 유사하다.
• 역전파와 네트워크 훈련을 피하기 위해 기능 평가만을 사용하여 자연 기울기 업데이트를 효율적으로 추정한다.
• 성능 평가를 위해 QD 점수와 컨트롤러 다양성 지표를 사용하여 시뮬레이션 환경에서 로봇 운동 제어 작업에 적용한다.

Figure 1: We propose variants of the CMA - MAE algorithm that scale to high-dimensional controllers. The variants maintain a Gaussian search distribution with mean ${\bm{\phi}}^{*}$ and approximate covariance matrix $\tilde{{\bm{\Sigma}}}$ . Solutions ${\bm{\phi}}_{i}$ sampled from the Gaussian are

실험 결과

연구 질문

• RQ1 CMA-MAE는 현대의 로봇 운동 제어 작업에서 사용되는 고차원 신경망 컨트롤러로 확장될 수 있는가?
• RQ2 CMA-MAE 변종에서 사용된 희소 공분산 근사치는 계산 복잡도를 감소시키면서도 성능을 유지하거나 향상시키는가?
• RQ3 제안된 CMA-MAE 변종의 성능는 PGA-ME 및 CMA-MEGA(TD3, ES)와 같은 최신 기술 수준의 깊은 강화학습 기반 품질 다양성 알고리즘과 비교해 어떻게 되는가?
• RQ4 제안된 변종들이 CMA-ES의 저초파라미터 민감도를 얼마나 잘 유지하면서도 고품질의 다양성을 달성하는가?
• RQ5 적응형 학습률 α를 가진 소프트 아카이브 메커니즘이 고차원 컨트롤러 탐색에서 탐색과 이용을 효과적으로 균형 있게 조절하는가?

주요 결과

• 제안된 CMA-MAE 변종은 표준 로봇 운동 제어 벤치마크에서 모든 ES 기반 기준보다 뛰어난 성능을 보이며, QD Ant, 하프-치타, 허퍼, 워커 작업 전반에서 더 높은 QD 점수를 기록한다.
• 네 가지 작업 중 세 가지(정확히 QD Ant, 하프-치타, 허퍼)에서 변종은 최신 기술 수준의 깊은 강화학습 기반 PGA-ME 알고리즘과 동일하거나 이를 초월하며, 하프-치타 작업에서 최대 2.939×10⁶의 QD 점수를 기록한다.
• PGA-ME 및 CMA-MEGA(TD3, ES)보다 훨씬 빠르며, 주로 깊은 강화학습 훈련 루프를 피하기 때문에 런타임 감소율이 2배 이상을 초과한다.
• 제거 분석 결과, 중간 수준의 α 값(예: α=0.001)이 최적의 성능을 낼 수 있으며, 극단적인 값(α=0 또는 α=1)은 탐색 또는 이용에만 집중함으로써 성능을 떨어뜨린다.
• 모든 방법에서 아카이브가 메모리 사용을 주로 차지하지만, 재생 버퍼가 없기 때문에 TD3 기반 방법보다 CMA-MAE 변종이 더 적은 메모리를 사용한다.
• 변종들은 낮은 초파라미터 민감도를 유지하며, 깊은 강화학습 기반 방법의 15~18개 파라미터에 비해 다섯 개의 파라미터(ψ, λ, σ, α, min_f)만 필요로 한다.