[논문 리뷰] Towards semi-episodic learning for robot damage recovery

Konstantinos Chatzilygeroudis, Antoine Cully외 1명|arXiv (Cornell University)|2016. 10. 05.

Reinforcement Learning in Robotics참고 문헌 13인용 수 4

한 줄 요약

이 논문은 로봇이 작업을 수행하는 도중 손상 복구를 가능하게 하는 반-에피소드 학습 알고리즘(SELA)을 소개한다. 이 알고리즘은 데이터 효율성과 자율성을 향상시킨다. 베이지안 최적화와 행동-성능 맵을 활용하고 동적 보상 선택 레이어를 도입함으로써, 시뮬레이션된 6족 보행 로봇 및 장난이동 작업에서 기준 방법 대비 학습 단계를 최대 50% 감소시킨다.

ABSTRACT

The recently introduced Intelligent Trial and Error algorithm (IT\&E) enables robots to creatively adapt to damage in a matter of minutes by combining an off-line evolutionary algorithm and an on-line learning algorithm based on Bayesian Optimization. We extend the IT\&E algorithm to allow for robots to learn to compensate for damages while executing their task(s). This leads to a semi-episodic learning scheme that increases the robot's lifetime autonomy and adaptivity. Preliminary experiments on a toy simulation and a 6-legged robot locomotion task show promising results.

연구 동기 및 목표

• 순수 에피소드 학습의 한계를 해결하기 위해, 각 시도가 동일한 초기 상태에서 다시 시작되어야 하는 로봇 손상 복구 문제를 다룬다.
• 고립된 시험 외에도 작업 수행 중 보상 보정 행동을 학습함으로써 데이터 효율성과 장기적 자율성을 향상시킨다.
• 목표 향해 진행하는 동안 손상에 적응할 수 있도록 생물학적 복구 전략을 모방한다.
• 오프라인 유전적 계산과 온라인 베이지안 최적화를 조합한 프레임워크를 개발한다.
• 학습 중에 작업과 관련된 보상을 동적으로 선택하여 행동 적응을 이끄는 보상 선택 메커니즘을 도입한다.

제안 방법

• 시뮬레이션된 손상 없는 로봇에서 100만 개의 원자적 행동의 행동-성능 맵을 생성하기 위해 MAP-Elites를 사용한다. 이는 다양한 보행 전략을 포괄한다.
• 손상된 실제 로봇에서 이러한 행동의 성능을 실시간으로 학습하기 위해 가우시안 프로세스(GP) 기반의 베이지안 최적화를 적용한다.
• 작업 전용 보상 함수를 원자적 행동의 결과를 평가하는 일반화된 보상 함수로 대체한다 (예: 목표 향한 이동 거리).
• 현재 작업 진행 상황에 따라 가장 정보량이 많은 보상 함수를 선택하는 전용 보상 선택 레이어를 도입한다.
• 데이터 효율성과 실시간 적용 가능성을 유지하기 위해 학습을 고정된 반복 수(N=10–15)로 제한한다.
• 베이지안 최적화 중 탐색과 이용의 균형을 확보하기 위해 상한 신뢰도(UCB) 획득 함수를 사용하며, α=0.05로 설정한다.

실험 결과

연구 질문

• RQ1 반-에피소드 학습 기법이 순수 에피소드 방법에 비해 로봇의 손상 복구를 위한 단계 수를 줄일 수 있는가?
• RQ2 원자적 행동 결과에 대한 일반화된 보상이 작업 수행 중 적응을 이끄는 데 얼마나 효과적인가?
• RQ3 동적 보상 선택 레이어가 로봇 손상 복구에서 학습 효율성과 수렴 속도를 향상시킬 수 있는가?
• RQ4 제안된 방법이 다양한 손상 시나리오와 로봇 형태에 걸쳐 성능을 유지하는 정도는 어느 정도인가?
• RQ5 사전 계산된 행동 맵과 온라인 베이지안 최적화의 통합이 실제 로봇 적응에서 데이터 효율성을 어떻게 향상시키는가?

주요 결과

• SELA는 장난이동 시뮬레이션에서 최적에 가까운 성능을 달성하여, 기준 방법에 비해 목표에 도달하기 위한 원자적 행동 수(단계 수)를 크게 줄였다.
• 6족 보행 로봇 시뮬레이션에서, SELA는 균일 샘플링 또는 사전 학습된 방향성 행동을 사용하는 IT&E 변종 대비 목표에 도달하는 데 필요한 단계 수를 최대 50% 감소시켰다.
• 실제 6족 보행 로봇에서 보상 보정 보행 전략을 성공적으로 학습하였으며, 초도 결과에서는 다리 제거 후 효과적인 적응이 이루어짐을 보였다.
• 원자적 행동 결과에 대한 일반화된 보상 사용이 동적 환경에서 작업 전용 보상 체계보다 더 빠른 수렴을 가능케 하였다.
• 보상 선택 레이어 덕분에 작업 진행에 가장 직접 기여하는 행동에 집중함으로써 학습 효율성이 향상되었다.
• 노이즈가 있는 위치 관측(σ²=0.01) 조건에서도 시뮬레이션 및 실제 실험 모두에서 안정된 성능을 유지하며 뛰어난 강건성을 보였다.