[논문 리뷰] A Survey of Behavior Learning Applications in Robotics -- State of the Art and Perspectives

Alexander Fabisch, Christoph Petzoldt외 2명|arXiv (Cornell University)|2019. 06. 05.

Robot Manipulation and Learning참고 문헌 237인용 수 10

한 줄 요약

이 종합 검토는 인간형 및 다리가 있는 로봇과 같은 복잡한 시스템을 대상으로 행동 학습의 실제 응용 사례를 분석한다. 행동 학습의 분류, 강화 학습 및 모방 학습을 포함한 기계 학습 기법의 효과성 평가와 함께, 고전적 로봇공학과의 더욱 유기적인 통합을 통해 내구성 있고 자율적인 시스템을 구현할 것을 주장한다.

ABSTRACT

Recent success of machine learning in many domains has been overwhelming, which often leads to false expectations regarding the capabilities of behavior learning in robotics. In this survey, we analyze the current state of machine learning for robotic behaviors. We will give a broad overview of behaviors that have been learned and used on real robots. Our focus is on kinematically or sensorially complex robots. That includes humanoid robots or parts of humanoid robots, for example, legged robots or robotic arms. We will classify presented behaviors according to various categories and we will draw conclusions about what can be learned and what should be learned. Furthermore, we will give an outlook on problems that are challenging today but might be solved by machine learning in the future and argue that classical robotics and other approaches from artificial intelligence should be integrated more with machine learning to form complete, autonomous systems.

연구 동기 및 목표

• 운동학적 및 감지 능력이 뛰어난 복잡한 로봇에 대해 행동 학습의 현재 상태를 분석한다.
• 기능적 범주에 따라 학습된 행동을 분류하고, 기계 학습에 가장 적합한 행동 유형을 평가한다.
• 딥 러닝 성공 사례에서 기대되는 성과와 로봇 제어 시스템의 실용적 한계 사이의 격차를 해결한다.
• 기계 학습과 고전적 로봇공학 및 인공지능 기법을 상호보완적으로 통합하여 더 내구성 있고 자율적인 로봇 시스템을 구축할 것을 주장한다.
• 학습이 성공적으로 이뤄진 행동과 향후 연구에 우선시되어야 할 영역에 대한 종합적 개요를 제공한다.

제안 방법

• 자기 제어가 가능한 고도로 자유도가 높고 복잡한 감지 운동 제어를 요구하는 로봇 시스템에 행동 학습이 적용된 실제 응용 사례를 광범위하게 조사한다.
• 이동, 조작, 주행, 사회적 상호작용 등의 기능적 범주에 따라 행동을 분류한다.
• 강화 학습, 모방 학습, 정책 탐색 등의 다양한 학습 철학이 다양한 로봇 작업에서 수행하는 역할을 분석한다.
• 최신 기계 학습 기법을 실제 로봇에 적용할 때 발생하는 기술적 과제(실시간 제약, 샘플 효율성, 안전성 등)를 평가한다.
• 행동 유형을 학습 요소(지각, 행동, 결정적/반응형 제어)에 매핑하는 비교 매트릭스를 활용하여 어떤 요소가 학습되었는지를 강조한다.
• Atlas 로봇 제어 및 티볼을 치는 로봇 팔 학습 등의 대표적 사례 연구를 통해 실용적 성공 사례와 한계를 설명한다.

실험 결과

연구 질문

• RQ1 인간형 또는 다리가 있는 복잡한 로봇에 대해 어떤 행동이 실제로 성공적으로 학습되고 구현되었는가?
• RQ2 강화 학습 및 모방 학습을 포함한 현재의 기계 학습 기법이 실제 로봇 시스템에서 안정적인 행동 학습을 얼마나 잘 가능하게 하는가?
• RQ3 최신 기계 학습을 로봇 제어에 적용할 때 발생하는 주요 제약은 무엇이며, 시뮬레이션 환경과는 어떻게 다를 수 있는가?
• RQ4 기계 학습을 통해 학습하기에 가장 적합한 행동는 무엇이며, 고전적 로봇공학 또는 기호 기반 인공지능 기법을 통해 설계되어야 할 행동는 무엇인가?
• RQ5 기계 학습을 고전적 로봇공학 및 다른 인공지능 접근법과 효과적으로 통합하여 완전한 자율 로봇 시스템을 어떻게 구축할 수 있는가?

주요 결과

• 기계 학습 분야의 급속한 발전에도 불구하고, 보스턴 다이나믹스의 애슬라스와 같은 고성능 로봇은 주로 강화 학습이 아닌 고전적 제어 및 최적화 기법에 의존한다.
• 강화 학습은 티볼을 치는 로봇 팔 조작과 같은 복잡한 작업에 성공적으로 적용되었지만, 샘플 효율성 부족과 실시간 제약이 여전히 주요 과제로 남아 있다.
• 다이내믹 모션 프리미티브(DMPs)와 결합된 모방 학습은 로봇 팔에서 복잡한 운동 기술을 효과적으로 학습하는 데 기여했으며, 2005년 페터스 등에 의한 연구에서 이를 입증했다.
• 거친 지형 주행, 계단 오르기, 공 탐지, 드릴링 또는 피자 조리와 같은 협업 작업과 같은 행동들은 하이브리드 학습 접근법을 통해 성공적으로 학습되었다.
• 실제로 지각과 행동 학습은 종종 분리되어 수행된다. 많은 시스템은 지각을 별도로 학습하거나 사전 학습된 모델을 사용하는 반면, 행동 정책는 정책 탐색 또는 모방 학습을 통해 학습한다.
• 기계 학습과 함께 결정적(모델 기반) 제어와 반응형(실시간) 제어의 통합은 복잡한 환경에서 내구성 있고 안전하며 효율적인 로봇 행동을 달성하기 위해 필수적이다.