[논문 리뷰] Skill Learning by Autonomous Robotic Playing using Active Learning and Creativity

Simon Hangl, Vedran Dunjko외 2명|arXiv (Cornell University)|2017. 06. 26.

Robot Manipulation and Learning참고 문헌 56인용 수 15

한 줄 요약

이 논문은 자율적 탐색과 창의성을 통해 사전에 훈련된 조작 기술의 적용 범위를 확장할 수 있도록 하는 하이브리드 강화학습 프레임워크를 제안한다. 자율 플레이 중 환경 모델을 학습함으로써 로봇은 정보성 상태를 우선순위로 정하고 창의적으로 새로운 준비 행동을 조합함으로써 학습 효율을 크게 향상시키며, 이는 이전에 해결이 어려웠던 작업들, 예를 들어 타워 분해 작업과 같은 문제들에 대한 해결을 가능하게 한다.

ABSTRACT

We treat the problem of autonomous acquisition of manipulation skills where problem-solving strategies are initially available only for a narrow range of situations. We propose to extend the range of solvable situations by autonomous playing with the object. By applying previously-trained skills and behaviours, the robot learns how to prepare situations for which a successful strategy is already known. The information gathered during autonomous play is additionally used to learn an environment model. This model is exploited for active learning and the creative generation of novel preparatory behaviours. We apply our approach on a wide range of different manipulation tasks, e.g. book grasping, grasping of objects of different sizes by selecting different grasping strategies, placement on shelves, and tower disassembly. We show that the creative behaviour generation mechanism enables the robot to solve previously-unsolvable tasks, e.g. tower disassembly. We use success statistics gained during real-world experiments to simulate the convergence behaviour of our system. Experiments show that active improves the learning speed by around 9 percent in the book grasping scenario.

연구 동기 및 목표

• 사전에 훈련된 조작 기술의 적용 가능성을 더 넓은 환경 상태 범위로 확장하는 데 도전하는 것.
• 기존 기본 행동을 위한 새로운 상황을 자율적으로 탐색하고 준비하기 위해 자기주도적 플레이를 통해 로봇이 스스로 준비 행동을 생성하는 것.
• 학습된 환경 모델을 활용해 활성 학습과 창의적 행동 생성을 이끌어내어 모델-프리 강화학습의 학습 효율을 향상시키는 것.
• 복합 준비 행동 생성을 통해 기존 기술 집합으로는 해결이 어려웠던 작업, 예를 들어 타워 분해 작업과 같은 문제를 해결할 수 있도록 하는 것.
• 발달 로봇공학에서 간단한 행동 연결과 초기 단계의 목표 지향적 계획 간 격차를 메우는 것.

제안 방법

• 로봇은 각 롤아웃이 감지, 준비 행동, 기본 행동 실행으로 구성되는 모델-프리 강화학습 설정을 사용한다.
• 플레이 중에 로봇는 환경의 전방 모델을 함께 학습함으로써 실제 롤아웃 없이 시뮬레이션과 계획을 가능하게 한다.
• 활성 학습은 환경 모델을 사용해 더 정보성 높거나 탐색이 덜 된 감지 상태로 이동하도록 유도한다.
• 창의적 행동 생성은 환경 모델을 활용해 타당성과 성공 가능성을 예측함으로써 기존 행동들을 새로운 순서로 조합함으로써 달성된다.
• 감지 행동, 준비 행동, 기본 행동로 구성된 계층적 기술 표현을 사용함으로써 모듈화되고 확장 가능한 학습이 가능하다.
• 실세계 실험의 성공 통계를 활용해 준비 행동 수가 증가함에 따라 수렴 행동을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 자기주도적 탐색을 통해 로봇이 사전에 훈련된 기본 행동이 적용 가능한 상황의 범위를 자율적으로 확장할 수 있는가?
• RQ2 학습된 환경 모델을 통합함으로써 모델-프리 강화학습의 효율성이 로봇 조작에서 어떻게 향상되는가?
• RQ3 활성 학습이 무작위 탐색에 비해 스킬 습득에 필요한 롤아웃 수를 얼마나 줄일 수 있는가?
• RQ4 기존 행동들의 조합을 통한 창의적 행동 생성이, 기존 기술 집합으로는 해결이 어려운 작업을 해결하는 데 기여할 수 있는가?
• RQ5 사용 가능한 준비 행동 수가 증가함에 따라 스킬 학습의 수렴 속도는 어떻게 변화하는가? 그리고 활성 학습은 이 스케일링 문제를 어떻게 완화하는가?

주요 결과

• 실세계 성공 통계를 시뮬레이션한 결과, 책을 집는 시나리오에서 활성 학습은 약 9퍼센트의 롤아웃 수를 줄였다.
• 책을 집는 작업에서 성공률은 초기에 환경 모델이 훈련되지 않았고 고각도 회전 행동이 누락되어 30~35%로 느린 초기 단계를 보였고, 모델이 성숙한 후 급격히 증가했다.
• 창의적 행동 생성 덕분에 로봇은 이전에 해결이 어려운 것으로 여겨졌던 작업, 예를 들어 타워 분해 작업을 새로운 복합 준비 행동을 생성함으로써 해결할 수 있었다.
• 창의성을 통한 수렴 행동은 뚜렷한 패턴을 보였다: 느린 시작, 급격한 향상, 점진적 100% 수렴으로 복잡한 행동 순서의 효과적인 탐색을 나타냈다.
• 학습 속도는 준비 행동의 수에 비례하는 것으로 나타났으며, 이는 스케일링 문제를 암시하며, 활성 학습은 이를 완화하지만 완전히 해결하지는 못했다.
• 환경 모델은 효과적인 시뮬레이션과 계획을 가능하게 하여 정보성 상태를 우선순위로 정하고 알려진 상황에서의 반복 롤아웃을 피할 수 있도록 했다.