[논문 리뷰] Safety-Aware Robot Damage Recovery Using Constrained Bayesian Optimization and Simulated Priors

Vaios Papaspyros, Konstantinos Chatzilygeroudis외 2명|arXiv (Cornell University)|2016. 11. 28.

Gaussian Processes and Bayesian Inference참고 문헌 13인용 수 6

한 줄 요약

이 논문은 로봇 손상 복구를 위한 지능형 시도-오류(IT&E) 알고리즘에 안전성 인식 확장을 제안하며, 시뮬레이션된 사전 정보를 사용한 제약 있는 베이지안 최적화를 통해 위험한 시도를 최소화한다. 안전 제약을 획득 함수에 통합하고 시뮬레이션에서 사전에 계산된 행동-성능 지도를 활용함으로써, 더 빠르고 안전한 적응이 가능해졌으며, 손상된 iCub 인간형 로봇에서 이를 검증하였다. 이로 인해 위험한 시도 횟수를 14회 이하로 줄였고, 표준 IT&E 및 다중 목적 IT&E보다 안전성과 성능 면에서 뛰어나다.

ABSTRACT

The recently introduced Intelligent Trial-and-Error (IT&E) algorithm showed that robots can adapt to damage in a matter of a few trials. The success of this algorithm relies on two components: prior knowledge acquired through simulation with an intact robot, and Bayesian optimization (BO) that operates on-line, on the damaged robot. While IT&E leads to fast damage recovery, it does not incorporate any safety constraints that prevent the robot from attempting harmful behaviors. In this work, we address this limitation by replacing the BO component with a constrained BO procedure. We evaluate our approach on a simulated damaged humanoid robot that needs to crawl as fast as possible, while performing as few unsafe trials as possible. We compare our new "safety-aware IT&E" algorithm to IT&E and a multi-objective version of IT&E in which the safety constraints are dealt as separate objectives. Our results show that our algorithm outperforms the other approaches, both in crawling speed within the safe regions and number of unsafe trials.

연구 동기 및 목표

• 기존의 로봇 손상 복구 알고리즘인 IT&E와 같이 시도-오류 학습 과정에서 해로운 행동이 발생할 수 있는 안전 제약의 부재 문제를 해결하기 위해.
• 베이지안 최적화 과정에 안전 제약을 통합하여 데이터 효율적이고 안전한 손상된 로봇의 적응을 가능하게 하기 위해.
• intact 로봇의 시뮬레이션을 통해 자동으로 제어기 안전성에 대한 사전 분포를 생성함으로써, 수동으로 안전한 설정을 초기화하는 데 의존도를 줄이기 위해.
• 다양한 고장 모드 하에서 기어는 작업을 수행하는 시뮬레이션된 손상된 인간형 로봇에서 방법을 평가하기 위해.
• 안전성, 성능, 샘플 효율성 측면에서 제안된 안전성 인식 방법을 표준 IT&E 및 다중 목적 IT&E와 비교하기 위해.

제안 방법

• 손상되지 않은 로봇를 대상으로 MAP-Elites를 사용하여 접촉력과 같은 안전성 차원을 포함한 다양한 저차원 행동-성능 지도를 생성한다.
• 손상된 로봇에서 다음 행동을 선택하기 위해 제약 있는 베이지안 최적화(CBO)를 적용하며, 안전 제약(예: 접촉력 합)을 충족하면서 기대 개선도를 최대화한다.
• 획득 함수는 행동 지도 기반으로 계산되며, 기어는 속도와 접촉력의 실제 측정값을 사용해 갱신된 가우시안 프로세스 모델을 적용한다.
• 안전성 사전 정보는 시뮬레이션 데이터에서 유도되며, 배포 이전에 위험한 행동의 확률을 추정함으로써, 초기 안전 파rameter 세트에 대한 의존도를 감소시킨다.
• 목적 함수(기어는 속도)와 각 안전 제약(예: 총 접촉력)에 대해 별도의 가우시안 프로세스 모델을 유지함으로써 안전 탐색을 가능하게 한다.
• 제약 최적화는 안전 임계값 이상의 기대 개선도가 가장 높은 행동을 선택하여 해결되며, 이로 인해 위험한 후보는 평가되지 않는다.

실험 결과

연구 질문

• RQ1 제약 있는 베이지안 최적화가 데이터 효율성을 희생시키지 않고도 로봇 손상 복구 과정에서의 안전성을 향상시킬 수 있는가?
• RQ2 안전성에 대한 시뮬레이션된 사전 정보의 통합이 비용이 많이 드는 로봇 플랫폼에서의 손상 복구의 강건성과 신뢰성을 어떻게 향상시키는가?
• RQ3 제안된 안전성 인식 IT&E는 표준 IT&E 및 다중 목적 IT&E에 비해 위험한 시도 횟수를 얼마나 줄이는가?
• RQ4 다양한 손상 구성 조건에서 최고의 안전한 행동의 성능은 어떻게 비교되는가?
• RQ5 실시간, 온정책 적응 프레임워크에서 안전 제약을 효과적으로 모델링하고 최적화할 수 있는가?

주요 결과

• sIT&E 알고리즘은 모든 손상 조건에서 표준 IT&E의 29회, MO-IT&E의 22회 이상이었던 것에 비해, 평균 14회 이하로 위험한 시도 횟수를 크게 줄였다.
• 모든 손상 조건을 제외한 한 경우를 제외하고는, sIT&E는 표준 IT&E 및 MO-IT&E보다 최고의 안전한 기어는 속도에서 통계적으로 유의미한 향상(p < 0.001)을 보였다.
• 모든 손상 조건에서 sIT&E는 기계적 손상의 위험이 최소한인 고성능의 안전한 보행 패턴을 일관되게 발견하였다.
• sIT&E는 IT&E 대비 50퍼센트 이상, MO-IT&E 대비 35퍼센트 이상의 위험한 시도 횟수 감소를 기록하여 뛰어난 안전성 효율성을 입증하였다.
• 시뮬레이션된 사전 정보의 사용은 초기 안전 세트가 필요 없이 효과적인 안전성 인식 탐색을 가능하게 하여, 알려지지 않은 손상 상황에도 적용 가능함을 보였다.
• 결과는 네 개의 독립적으로 생성된 행동 지도와 조건당 20회의 실행을 통해 일관되게 확인되었으며, 이는 강건성과 신뢰성의 확보를 뒷받침한다.