[논문 리뷰] Towards Continual Reinforcement Learning for Quadruped Robots

Giovanni Minelli, Vassilis Vassiliades|arXiv (Cornell University)|2023. 01. 01.

Educational Games and Gamification인용 수 1

한 줄 요약

이 논문은 점차 복잡해지는 지형에서 연속 강화학습(CRL)을 수행하는 4족 보행 로봇에 대해 Proximal Policy Optimization(PPO)를 사용하여 연구한다. 쉽게 어려운 지형과 어려운 지형에서 쉽게 되돌아가는 상황 모두에서 심각한 기록 상실(catastrophic forgetting)이 발생하며, 이는 이전에 학습한 기술에서 성능 저하를 초래한다. 이는 실세계에서 로봇을 구현할 때 통합된 CRL 메커니즘이 절실하게 필요함을 시사한다.

ABSTRACT

Quadruped robots have emerged as an evolving technology that currently leverages simulators to develop a robust controller capable of functioning in the real-world without the need for further training. However, since it is impossible to predict all possible real-world situations, our research explores the possibility of enabling them to continue learning even after their deployment. To this end, we designed two continual learning scenarios, sequentially training the robot on different environments while simultaneously evaluating its performance across all of them. Our approach sheds light on the extent of both forward and backward skill transfer, as well as the degree to which the robot might forget previously acquired skills. By addressing these factors, we hope to enhance the adaptability and performance of quadruped robots in real-world scenarios.

연구 동기 및 목표

• 배포 후 4족 로봇을 위한 연속 강화학습의 실현 가능성을 평가하기 위해.
• 순차적 훈련 중 보행 기술 간 전방 및 후방 지식 전이를 조사하기 위해.
• 새로운 환경에 노출되었을 때 PPO 기반 에이전트에서 기록 상실을 측정하기 위해.
• 쉬운 지형에서 어려운 지형으로의 진행 순서와 어려운 지형에서 쉬운 지형으로의 진행 순서 간 학습 역학을 비교하기 위해.
• 표준 PPO가 연속 학습 환경에서 로봇 제어에 대해 명시적인 연속 학습 메커니즘이 없이도 안정적인 성능을 유지할 수 있는지 파악하기 위해.

제안 방법

• 8종의 지형 유형(평탄한 지형, 음의 경사, 계단 내림, 타일, 양의 경사, 계단 올림, 반복적인 평탄한 지형 및 타일)에서 PPO 에이전트를 순차적으로 훈련시켰다.
• 고정된 훈련 간격 동안 각 지형에서 4096台의 로봇을 순차적으로 훈련시킨 구조적 커리큘럼을 사용했다.
• 각 훈련 단계 이후에 512대의 로봇을 동시에 평가하여 모든 환경에서의 성능를 측정했다.
• 두 가지 연속 학습 시나리오를 설계: 쉬운 지형에서 어려운 지형으로의 진행(순차적 어려움 증가)과 어려운 지형에서 쉬운 지형으로의 진행(어려움 감소).
• 전방 전이(이전 기술 덕분에 새로운 작업에서 성능 향상), 후방 전이(새로운 훈련 덕분에 이전 작업에서 성능 향상), 기록 상실(이전 작업에서 성능 저하)를 측정했다.
• GPU 가속 시뮬레이션을 위해 NVIDIA Isaac Gym을 사용하고, 표준 하이퍼파rameter를 사용해 훈련했다.

실험 결과

연구 질문

• RQ1 새로운 지형 기술을 학습할 때 이전에 학습한 지형에서의 성능 향상 정도는 얼마나 되는가(전방 전이)?
• RQ2 새로운 지형 기술을 학습할 때 이전에 학습한 지형에서의 성능 저하 정도는 얼마나 되는가(기록 상실)?
• RQ3 더 어려운 지형에서 먼저 훈련하는 것(어려운 지형에서 쉬운 지형으로의 진행)이 쉬운 지형에서 어려운 지형으로의 진행 순서보다 기록 상실을 줄이는가?
• RQ4 순서상 이전 지형을 다시 방문할 때 후방 전이가 어떻게 나타나는가?
• RQ5 표준 PPO는 명시적인 연속 학습 메커니즘이 없이도 다양한 지속적인 보행 작업에서 안정적인 성능을 유지할 수 있는가?

주요 결과

• 쉬운 지형에서 어려운 지형으로의 진행 시나리오에서, 계단 내림 및 타일 지형 훈련 시 평탄한 지형과 음의 경사 지형에서 성능 저하가 심하게 발생하여 강한 기록 상실이 확인되었다.
• 타일 지형 훈련(1500–2000 반복)은 평탄한 지형과 계단 내림 보행 성능을 악화시켰지만, 양의 경사 및 계단 올림 성능은 향상시켰다.
• 평탄한 지형 재접근(2000–2500 반복)은 음의 경사 및 양의 경사 보행 성능 향상으로 이어져 후방 전이가 확인되었다.
• 계단 올림 훈련(3000–3500 반복)은 평탄한 지형, 양의 경사 및 음의 경사 성능에 부정적인 영향을 미쳐 강한 간섭이 발생함을 시사했다.
• 어려운 지형에서 쉬운 지형으로의 진행 시나리오에서, 타일 지형으로 전환할 때 평탄한 지형 성능이 약간 감소했지만, 후속 재훈련 시 부분적으로 회복됨을 확인하여 부분적 회복이 이루어졌음을 나타냈다.
• 기록 상실이 가장 심각하게 발생한 것은 계단 및 타일 지형 훈련 중였으며, 경사 지형 보행은 일관된 긍정적 전이를 보였고 영향을 최소화했다.