[논문 리뷰] Evaluation of Constrained Reinforcement Learning Algorithms for Legged Locomotion

Joonho Lee, Lukas Schroth외 4명|arXiv (Cornell University)|2023. 09. 27.

Robotic Locomotion and Control인용 수 6

한 줄 요약

이 논문은 다리 운동을 위한 제약 강화 학습(CRL) 알고리즘을 평가하며, 관절 속도 및 토크 한계와 같은 물리적 제약을 강제하는 데 Constrained Markov Decision Process (CMDP) 프레임워크를 사용한다. 보상과 제약를 분리함으로써 제약 위반을 감소시키고 시뮬레이션에서 실제 환경으로의 전이 성능을 향상시키며, N-P3O는 실제 로봇 실험에서 뛰어난 성능과 안정성을 보였다.

ABSTRACT

Shifting from traditional control strategies to Deep Reinforcement Learning (RL) for legged robots poses inherent challenges, especially when addressing real-world physical constraints during training. While high-fidelity simulations provide significant benefits, they often bypass these essential physical limitations. In this paper, we experiment with the Constrained Markov Decision Process (CMDP) framework instead of the conventional unconstrained RL for robotic applications. We perform a comparative study of different constrained policy optimization algorithms to identify suitable methods for practical implementation. Our robot experiments demonstrate the critical role of incorporating physical constraints, yielding successful sim-to-real transfers, and reducing operational errors on physical systems. The CMDP formulation streamlines the training process by separately handling constraints from rewards. Our findings underscore the potential of constrained RL for the effective development and deployment of learned controllers in robotics.

연구 동기 및 목표

• 다리 운동용 로봇의 정책 학습 과정에서 물리적 제약를 간과하는 기존 강화 학습 연구의 격차를 해소한다.
• 강화 학습 과정에 하드한 물리적 제약(예: 토크, 속도 한계)을 직접 통합함으로써 시뮬레이션에서 실제 환경으로의 전이 성능을 향상시킨다.
• 고성능 다리 운동 성능 유지를 유지하면서 제약 준수 능력을 갖춘 일阶 제약 정책 최적화 알고리즘의 성능을 평가하고 비교한다.
• 보상과 제약를 분리함으로써 복잡한 보상 형태 설계의 필요성을 줄이고 정책의 강인성을 향상시킬 수 있음을 입증한다.
• 실제 환경에 적용 가능한 실용적인 CRL 파이프라인을 개발하고, 휠드레그 로봇에 대해 검증한다.

제안 방법

• 다리 운동을 제약 마코프 결정 과정(CMDP)으로 공식화하여, 비용 함수와 임계값을 통해 물리적 제약를 명시적으로 모델링한다.
• N-P3O, PPO-Lagrangian, CRPO 세 가지 일阶 CRL 알고리즘을 적용하며, 각각 다른 최적화 전략을 사용해 제약를 강제한다.
• 비용 비평가 네트워크에 소프트플러스 출력층을 도입하여 비용 값 추정이 음수가 되지 않도록 하여 학습 안정성을 향상시킨다.
• 제약 페널티 계수(κ)의 동적 스케줄링을 구현하여 초기 학습 단계에서 제약 강제를 연기하고 탐색을 장려한다.
• 감소하는 계수를 가진 엔트로피 정규화를 적용하여 정책의 부드러움과 일반화 능력을 향상시킨다.
• 도메인 랜덤라이제이션과 프опrioceptive 상태 관측값(속도, 관절 상태, 중력)을 적용하여 정책의 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 제약 정책 최적화 알고리즘은 다리 운동에서 제약 위반과 최종 성능 측면에서 어떻게 상호 비교되는가?
• RQ2 학습 과정에서 물리적 제약를 강제하면 시뮬레이션에서 보상 형태 설계를 광범위하게 수행할 필요가 줄어들 수 있는가?
• RQ3 CMDP 공식화가 실제 다리 운동 로봇에서의 시뮬레이션-실세계 전이 성능과 운영 신뢰도를 향상시키는가?
• RQ4 비용 함수 설계의 차이(예: 지시자 함수, 제곱 ReLU)는 제약 위반 빈도와 위반 정도에 어떤 영향을 미치는가?
• RQ5 소프트플러스를 통해 비용 비평가를 음수가 아닌 값으로 학습시키는 방식은 학습 안정성과 제약 준수에 어떤 영향을 미치는가?

주요 결과

• N-P3O 알고리즘이 평가된 방법들 중에서 가장 낮은 제약 위반 수(0.05회/에피소드)와 가장 높은 성능(72.83 평균 보상)을 기록했다.
• 비용 함수로 지시자 함수를 사용할 경우 제약 위반이 가장 적었으며, 그 다음으로 관절 수를 고려한 비용 함수가 그 뒤를 이었다.
• 소프트플러스 활성화를 적용한 비용 비평가가 표준 선형 비평가에 비해 비용 수익 추정의 분산을 줄이고 학습 안정성을 향상시켰다.
• CMDP 프레임워크는 실제 환경 적용에서 제약 위반을 효과적으로 감소시켰으며, 휠드레그 로봇에서 효과적인 시뮬레이션-실세계 전이를 입증했다.
• 제약 페널티 계수(κ)의 동적 스케줄링은 조기 수렴을 방지하고 탐색 능력을 향상시켜 최종 정책 품질을 향상시켰다.
• 물리적 한계를 위한 보상 형태 설계 의존도를 줄여 정책 설계를 단순화하고 일반화 능력을 향상시켰다.