[논문 리뷰] Reinforcement Learning with Adaptive Curriculum Dynamics Randomization for Fault-Tolerant Robot Control

Wataru Okamoto, Hiroshi Kera외 1명|arXiv (Cornell University)|2021. 11. 19.

Reinforcement Learning in Robotics참고 문헌 28인용 수 5

한 줄 요약

이 논문은 강화학습을 사용하여 다각형 로봇의 고장 내성 제어를 위한 적응형 커리큘럼 역학 랜덤라이제이션(ACDR) 알고리즘을 제안한다. 심각한 액추에이터 고장을 먼저 훈련하는 딱딱한 상태에서 쉬운 상태로의 커리큘럼—역학 랜덤라이제이션을 적용함으로써, 고장 진단 모듈이 필요 없이 실제 고장 상황으로도 일반화되는 단일 강건한 정책을 학습한다. ACDR 방법은 전통적인 방법에 비해 평균 보상과 보행 거리 측면에서 뛰어난 성능을 달성한다.

ABSTRACT

This study is aimed at addressing the problem of fault tolerance of quadruped robots to actuator failure, which is critical for robots operating in remote or extreme environments. In particular, an adaptive curriculum reinforcement learning algorithm with dynamics randomization (ACDR) is established. The ACDR algorithm can adaptively train a quadruped robot in random actuator failure conditions and formulate a single robust policy for fault-tolerant robot control. It is noted that the hard2easy curriculum is more effective than the easy2hard curriculum for quadruped robot locomotion. The ACDR algorithm can be used to build a robot system that does not require additional modules for detecting actuator failures and switching policies. Experimental results show that the ACDR algorithm outperforms conventional algorithms in terms of the average reward and walking distance.

연구 동기 및 목표

• 원격 또는 극한 환경에서 작동하는 다각형 로봇에서 액추에이터 고장이 흔하고 수리가 불가능한 상황에서의 내성 문제를 해결하기 위해.
• 고장 감지 및 정책 전환 모듈을 별도로 필요로 하지 않고, 강화학습을 통해 통합된 강건한 제어 정책을 학습하기 위해.
• 도메인 랜덤라이제이션과 커리큘럼 학습을 조합하여 시뮬레이션에서 실제 환경으로의 전이(Sim2Real) 격차를 개선하기 위해.
• 기존의 쉬운 상태에서 어려운 상태로의 커리큘럼보다, 어려운 상태에서 쉬운 상태로의 커리큘럼(초기에는 강건성을 우선적으로 키움)이 고장 내성 보행에서 더 뛰어난 성능을 내는지 조사하기 위해.
• 사전 고장 상태에 대한 지식 없이도 하나 이상의 액추에이터가 고장 났을 때도 보행을 유지할 수 있도록 훈련 프레임워크를 개발하기 위해.

제안 방법

• ACDR 알고리즘은 시뮬레이션에서 액추에이터 고장의 심각도를 조절하는 실패 계수 $k$를 변화시켜 역학 랜덤라이제이션을 적용한다. 이로써 에이전트는 다양한 고장 조건에 노출된다.
• 딱딱한 상태에서 쉬운 상태로의 커리큘럼을 구현하며, 훈련은 높은 고장 심각도($k=1.4$)에서 시작하여 점차 $k=0.0$으로 감소시킨다. 이는 점점 더 안정적인 조건을 시뮬레이션한다.
• 정책은 작업에 특화된 보상 함수를 최대화하기 위해 딥 강화학습을 통해 엔드 투 엔드로 훈련된다. 이 보상 함수는 전방 이동과 안정성 향상을 장려한다.
• 초기 단계에서 $k=0.0$(완전한 다리 고장)에서의 훈련을 피함으로써, 극단적인 고장 상태에 과적합되는 것을 막고자 한다.
• 학습 진행 상황에 따라 실패 계수를 동적으로 조정하는 적응형 커리큘럼 스케줄링을 통합하여 샘플 효율성과 강건성을 향상시킨다.
• 최종 정책는 추가 적응이나 고장 감지 모듈 없이 시뮬레이션 및 실제 환경 테스트에 배포된다.

실험 결과

연구 질문

• RQ1 강화학습을 통해 하나의 강건한 정책을 학습시켜 다각형 로봇이 다양한 액추에이터 고장 조건에서도 보행을 유지할 수 있는가?
• RQ2 초기에는 심각한 고장을 훈련하는 딱딱한 상태에서 쉬운 상태로의 커리큘럼이, 기존의 쉬운 상태에서 어려운 상태로의 커리큘럼보다 고장 내성 성능을 향상시키는가?
• RQ3 도메인 랜덤라이제이션과 적응형 커리큘럼 학습을 조합하면 다각형 로봇의 시뮬레이션에서 실제 환경으로의 전이(Sim2Real) 격차를 효과적으로 줄일 수 있는가?
• RQ4 강건한 고장 내성을 달성하기 위해 가장 극단적인 고장 조건($k=0.0$)에서 훈련하는 것이 반드시 필요한가?
• RQ5 ACDR 알고리즘이 비커리큘럼 및 비랜덤라이제이션 기반 기준 방법에 비해 평균 보상과 보행 거리 측면에서 어떻게 비교되는가?

주요 결과

• ACDR 알고리즘은 다양한 실패 계수에서 전통적인 강화학습 방법에 비해 평균 보상과 보행 거리 측면에서 뛰어난 성능을 보였다.
• 딱딱한 상태에서 쉬운 상태로의 커리큘럼은 쉬운 상태에서 어려운 상태로의 커리큘럼보다 일관되게 높은 평균 보상을 달성했으며, 후자는 $k=0.0$에서의 후기 단계 훈련으로 인해 성능 저하가 발생했다.
• $k=0.0$ 근처에서의 훈련이 고장 내성 달성에 필수적인 것은 아니며, 로봇은 해당 조건에서 직접 훈련받지 않더라도 완전한 다리 고장 상태로 일반화할 수 있었다.
• ACDR_h2e의 평균 보상은 실패 계수 범위 $k \in [0,1]$ 전반에서 높게 유지되어, 예상치 못한 고장 수준으로의 일반화 능력이 뛰어나다는 것을 시사한다.
• 실험 결과, 훈련 중 $k=0.0$를 피하는 것이 정책 성능 향상에 크게 기여하며, 특히 쉬운 상태에서 어려운 상태로의 커리큘럼 접근 방식에서 두드러졌다.
• ACDR 프레임워크는 추가적인 고장 진단 또는 정책 전환 모듈이 필요 없는 고장 내성 로봇 시스템을 가능하게 하여, 실세계 적용을 단순화한다.