[논문 리뷰] Episodic Learning for Safe Bipedal Locomotion with Control Barrier Functions and Projection-to-State Safety

Noel Csomay-Shanklin, Ryan K. Cosner외 3명|arXiv (Cornell University)|2021. 05. 04.

Robotic Locomotion and Control인용 수 10

한 줄 요약

이 논문은 이터레이티브한 학습을 통해 모델 불확실성을 감소시키기 위해 제어 장벽 함수(CBF)와 투사-상태 안전성(Projection-to-State Safety)을 결합한 에피소드 기반 학습 프레임워크를 제안한다. 닫힌 루프 실험을 통해 외란 추정치를 반복적으로 학습함으로써, 동적 보행에서의 안전성과 정밀도를 향상시켰으며, 시뮬레이션과 AMBER-3M 로봇에서 모두 검증되었다. 시뮬레이션에서는 장벽 함수 위반을 85% 감소시키고, 하드웨어에서는 79% 감소시켰다.

ABSTRACT

This paper combines episodic learning and control barrier functions in the setting of bipedal locomotion. The safety guarantees that control barrier functions provide are only valid with perfect model knowledge; however, this assumption cannot be met on hardware platforms. To address this, we utilize the notion of projection-to-state safety paired with a machine learning framework in an attempt to learn the model uncertainty as it affects the barrier functions. The proposed approach is demonstrated both in simulation and on hardware for the AMBER-3M bipedal robot in the context of the stepping-stone problem, which requires precise foot placement while walking dynamically.

연구 동기 및 목표

• 이족 로봇의 안전한 제어에서 발생하는 모델 불확실성 문제, 특히 스텝 스톤 작업과 같은 동적 보행에 대응하기 위해.
• 제어 장벽 함수(CBF)와 학습을 융합하여 불완전한 모델 지식 하에서도 견고한 안전 보장을 확보하기 위해.
• 광범위한 입력 데이터 다양성이 필요 없이 데이터 효율적인 에피소드 기반 학습 프레임워크를 개발하여 외란 추정치를 향상시키기 위해.
• 이론적으로나 실험적으로, CBF를 실제 이족 로봇 하드웨어에서 안전한 제어에 성공적으로 적용한 최초의 사례를 제시하기 위해.
• 반복적 학습을 통해 발자국 배치 시 장벽 함수 위반을 감소시켜 스텝 스톤 통과의 신뢰성을 향상시키기 위해.

제안 방법

• 로봇이 보행 시험을 수행하고 상태 및 제어 데이터를 수집하며, 학습된 외란 모델을 업데이트하는 에피소드 기반 학습 루프를 활용한다.
• 감독 학습 프레임워크를 통해 명시적 모델과 실제 시스템 동역학 간의 불일치, 특히 장벽 함수에 영향을 주는 외란을 추정한다.
• 학습된 외란을 CBF 기반 2차 프ogramming(CBF-QP)에 통합하여, 집합의 불변성을 유지하는 더 안전한 제어 입력을 생성한다.
• 투사-상태 안전성(PSSf)을 사용하여 모델 불확실성의 영향을 제한함으로써, 불완전한 지식 하에서도 안전성을 보장한다.
• 에피소드를 거치며 제어기를 반복적으로 업데이트하여 외란 추정치를 정교화하고 장벽 위반을 감소시킨다.
• 하드웨어에서 1kHz, 시뮬레이션에서도 1kHz로 작동하는 샘플드 데이터 기반 최적화 제어기(SS-QP)를 사용하여 구현한다.

실험 결과

연구 질문

• RQ1 에피소드 기반 학습이 이족 로봇의 CBF 기반 안전 제어에서 모델 불확실성을 효과적으로 감소시킬 수 있는가?
• RQ2 기반 학습 외란 추정치는 스텝 스톤에서의 동적 보행에서 장벽 함수 만족도를 어떻게 향상시키는가?
• RQ3 모델 정확도가 떨어지는 상황에서도 CBF가 실제 이족 로봇의 안전 제어에 성공적으로 적용될 수 있는가?
• RQ4 학습 과정이 시뮬레이션과 하드웨어에서 장벽 위반의 크기를 어느 정도 감소시키는가?
• RQ5 최악의 불확실성에 대한 가정을 하는 강건한 CBF 변종 대비, 제안된 방법은 성능과 보수성 측면에서 어떻게 비교되는가?

주요 결과

• 시뮬레이션에서는 세 번의 학습 에피소드 후 발자국 배치 시 최대 장벽 위반이 2.0 cm에서 0.3 cm로 감소하여 85% 감소하였다.
• 하드웨어에서는 두 번의 학습 에피소드 후 최대 위반이 9.2 cm에서 1.9 cm로 감소하여 위반 크기의 79% 감소를 기록하였다.
• 제안된 방법은 8cm 폭의 스텝 스톤을 안전하게 통과하였으며, 잔여 불확실성을 고려해 실제 돌의 크기를 10cm로 설정하였다.
• 학습된 외란 모델은 관절 마찰과 질량/관성 불일치를 성공적으로 포착하여 제어 정밀도를 향상시켰다.
• 학습된 외란을 통합한 SS-QP 제어기는 과도한 보수성 없이 안정적인 동적 보행을 가능하게 하였으며, 이는 강건한 $ar{\rho}$-CBF-QP와는 대조적이다.
• 이 학습 강화 프레임워크를 통해 이족 로봇 하드웨어에서 CBF 기반 안전 제어의 최초 실험적 구현이 성공적으로 달성되었다.