[논문 리뷰] Accelerated Policy Learning with Parallel Differentiable Simulation

Jie Xu, Viktor Makoviychuk외 5명|arXiv (Cornell University)|2022. 04. 14.

Reinforcement Learning in Robotics인용 수 16

한 줄 요약

이 논문은 복잡하고 접촉이 많은 제어 작업에서 강화학습을 가속화하기 위해 고성능 병렬 미분 가능 시뮬레이터를 활용하는 새로운 정책 학습 알고리즘인 SHAC을 제안한다. 부드러운 크리틱을 사용하여 국소 최소값을 피하고, 절단된 학습 윈도우를 통해 기울기를 안정화시킴으로써, SHAC는 고차원 근육 구동형 이동 제어 작업에서 최신 RL 방법보다 17배 이상 빠른 학습 속도를 달성하면서 샘플 효율성과 월클록 효율성을 크게 향상시킨다.

ABSTRACT

Deep reinforcement learning can generate complex control policies, but requires large amounts of training data to work effectively. Recent work has attempted to address this issue by leveraging differentiable simulators. However, inherent problems such as local minima and exploding/vanishing numerical gradients prevent these methods from being generally applied to control tasks with complex contact-rich dynamics, such as humanoid locomotion in classical RL benchmarks. In this work we present a high-performance differentiable simulator and a new policy learning algorithm (SHAC) that can effectively leverage simulation gradients, even in the presence of non-smoothness. Our learning algorithm alleviates problems with local minima through a smooth critic function, avoids vanishing/exploding gradients through a truncated learning window, and allows many physical environments to be run in parallel. We evaluate our method on classical RL control tasks, and show substantial improvements in sample efficiency and wall-clock time over state-of-the-art RL and differentiable simulation-based algorithms. In addition, we demonstrate the scalability of our method by applying it to the challenging high-dimensional problem of muscle-actuated locomotion with a large action space, achieving a greater than 17x reduction in training time over the best-performing established RL algorithm.

연구 동기 및 목표

• 지속적인 최소값과 기울기 소실/폭발 문제로 인해 기울기 기반 최적화가 실패하는 복잡하고 접촉이 많은 제어 작업에서 미분 가능 시뮬레이션의 한계를 해결하기 위해.
• 미분 가능 시뮬레이터에서 유도된 분석 기울기를 강력한 정책 최적화 프레임워크와 통합하여 딥 강화학습의 샘플 효율성과 월클록 시간을 향상시키기 위해.
• 표준 RL 알고리즘으로는 해결이 불가능한 고차원 작업, 예를 들어 근육 구동형 인간형 이동 제어 작업 등에서도 확장 가능하고 고성능 정책 학습을 가능하게 하기 위해.
• 장수평, 접촉이 많은 환경을 포함하여 샘플 효율성과 월클록 시간 측면에서 기울기 기반 및 RL 기반 방법을 공정하고 종합적으로 비교할 수 있는 벤치마크를 제공하기 위해.

제안 방법

• 기울기 소실 및 폭발 문제를 완화하기 위해 역전파 길이를 제한하는 절단된 학습 윈도우를 사용하는 단기-시간 간격 액터-크리틱(SHAC) 알고리즘을 제안한다.
• 정책 실패와 비연속적인 동역학으로 인해 발생하는 국소 최소값의 영향을 줄이기 위해, 노이즈가 많은 보상 지도를 부드러운 대체 지도로 근사하는 크리틱 네트워크를 활용한다.
• 다중 환경에서 병렬 시뮬레이션을 가능하게 하는 GPU 가속화된 PyTorch 기반의 미분 가능 시뮬레이터를 개발하여 대규모 기울기 계산을 효율적으로 수행한다.
• 미분 가능 시뮬레이터에서 유도된 분석 기울기를 정책 최적화 루프에 통합하며, 가치 함수와 함께 정책 업데이트를 이끄는 데 사용한다.
• 기울기 품질과 계산 효율성의 균형을 맞추기 위해 짧은 수평선 롤아웃 전략(h=32)을 적용하여 학습 안정성을 향상시킨다.
• 다양한 환경을 병렬로 처리하여 데이터 처리량을 증가시키고 월클록 학습 시간을 단축시킨다.

실험 결과

연구 질문

• RQ1 미분 가능 시뮬레이션은 인간형 이동 제어와 같은 복잡하고 접촉이 많은 제어 작업에서 정책 학습을 효과적으로 가속화할 수 있는가?
• RQ2 장수평, 비연속적인 제어 작업에서 국소 최소값과 불안정한 기울기 문제를 기울기 기반 최적화가 어떻게 극복할 수 있는가?
• RQ3 미분 가능 시뮬레이터와 크리틱 기반 방법의 조합이 샘플 효율성과 월클록 시간 측면에서 최신 모델리스 RL 알고리즘을 초월할 수 있는가?
• RQ4 고차원 제어 문제(150개 이상의 제어 자유도)에서 병렬 미분 가능 시뮬레이션은 얼마나 높은 확장성을 향상시키는가?

주요 결과

• SHAC는 고차원 근육-근육 조임 기반 인간형(Humanoid MTU) 작업에서 최고 성능을 보인 기존 RL 알고리즘 대비 학습 시간을 17배 이상 단축시켰다.
• CartPole Swing Up 및 Ant와 같은 고전적 RL 벤치마크에서, SHAC는 MBPO 대비 최대 162배, REDQ 대비 최대 102배의 월클록 학습 시간 단축을 기록했으며, REDQ는 샘플 효율성이 뛰어나지만 SHAC는 더 빠른 속도를 보였다.
• SHAC에서 유도된 분석 기울기는 유한 차분 근사와 유사하게 잘 안정된 상태를 유지하는 반면, 표준 역전파-시간(Backpropagation-through-Time, BPTT)에서는 기울기 폭발 현상이 관찰된 것과 대비된다.
• SHAC가 생성한 대체 지도는 원래의 노이즈가 많은 지도보다 훨씬 부드럽게 나타나, 정책 실패나 비연속성 존재하더라도 더 신뢰할 수 있는 최적화를 가능하게 한다.
• SHAC는 장수평, 접촉이 많은 환경을 포함한 모든 평가된 작업에서 PPO, SAC, MBPO, REDQ와 같은 최신 RL 알고리즘보다 샘플 효율성과 월클록 시간 측면에서 뛰어난 성능을 보였다.
• SHAC는 REDQ와 MBPO가 기본 하이퍼파라미터로는 실패하는 고차원 작업인 Humanoid MTU에서도 성공적으로 학습을 수행하여, 훨씬 뛰어난 확장성과 내구성을 입증했다.