[논문 리뷰] Online Tool and Task learning via Human Robot Interaction.

Masood Dehghan, Zichen Vincent Zhang외 4명|arXiv (Cornell University)|2018. 09. 24.

Robot Manipulation and Learning참고 문헌 20인용 수 3

한 줄 요약

이 논문은 딥 러닝 기반의 물체 인식 모듈, 직관적인 3D 운동 지정 인터페이스, 비구조적 표면에서의 유연한 제어를 위한 하이브리드 힘-시각 제어 시스템을 활용하여 실시간 인간 상호작용을 통해 도구와 작업을 점진적으로 학습하는 로봇 시스템을 제시한다. 이 시스템은 쿠카 혁신상 최종 후보에 오르며 2018년 한노버 전시회에서 시연되었다.

ABSTRACT

This work describes the development of a robotic system that acquires knowledge incrementally through human interaction where new tools and motions are taught on the fly. The robotic system developed was one of the five finalists in the KUKA Innovation Award competition and demonstrated during the Hanover Messe 2018 in Germany. The main contributions of the system are a) a novel incremental object learning module - a deep learning based localization and recognition system - that allows a human to teach new objects to the robot, b) an intuitive user interface for specifying 3D motion task associated with the new object, c) a hybrid force-vision control module for performing compliant motion on an unstructured surface. This paper describes the implementation and integration of the main modules of the system and summarizes the lessons learned from the competition.

연구 동기 및 목표

• 로봇이 사전에 프로그래밍된 지식이나 구조화된 환경 없이 실시간으로 직접적인 인간 상호작용을 통해 새로운 도구와 운동 작업을 점진적으로 학습할 수 있도록 하는 것.
• 로봇이 사전에 프로그래밍되지 않은 새로운 물체와 동작을 가르치는 데 도전하는 문제를 해결하는 것.
• 새로 습득한 물체와 연관된 3D 운동 작업을 지정하기 위한 직관적인 인터페이스를 개발하는 것.
• 실시간 시각 피드백과 힘 감지 기반의 하이브리드 힘-시각 제어 전략을 활용해 비구조적 표면에서의 유연한 제어를 가능하게 하는 것.

제안 방법

• 실시간 상호작용 중에 새로운 도구와 물체를 정위치 및 인식할 수 있도록 하는 딥 러닝 기반의 점진적 물체 학습 모듈.
• 사용자가 직접 입력을 통해 새로 습득한 물체와 연관된 3D 운동 작업을 정의할 수 있도록 하는 직관적인 사용자 인터페이스.
• 시각 피드백과 힘 감지를 결합하여 비구조적 표면에서의 안정적이고 유연한 운동 제어를 가능하게 하는 하이브리드 힘-시각 제어 모듈.
• 물체 학습, 작업 지정, 유연한 제어의 세 핵심 모듈을 통합하여 온라인 학습을 위한 유일한 로봇 시스템으로 통합하는 것.
• 쿠카 혁신상 경연에 참가하고 2018년 한노버 전시회에서 현장 시연을 통해 시스템을 구현 및 검증하는 것.

실험 결과

연구 질문

• RQ1 로봇은 실시간으로 지속적인 인간 상호작용을 통해 어떻게 새로운 도구와 물체를 점진적으로 학습할 수 있는가?
• RQ2 새로 습득한 물체에 대해 3D 운동 작업을 지정하기 위한 어떤 인터페이스 설계가 직관적이며 효과적인가?
• RQ3 실시간 시각 피드백과 힘 피드백을 활용해 로봇은 비구조적 표면에서 어떻게 유연한 제어를 수행할 수 있는가?
• RQ4 온라인 도구 및 작업 학습을 가능하게 하는 데 있어 주요 시스템 통합 과제는 무엇인가?

주요 결과

• 딥 러닝 기반의 물체 학습 모듈은 상호작용 중에 새로운 도구와 물체의 실시간 정위치 및 인식을 성공적으로 구현하였다.
• 직관적인 사용자 인터페이스를 통해 비전문가 사용자도 최소한의 훈련으로 새로운 물체에 대한 3D 운동 작업을 쉽게 지정할 수 있었다.
• 하이브리드 힘-시각 제어 모듈은 비구조적 표면에서 안정적이고 유연한 제어를 가능하게 하여 작업의 내구성을 향상시켰다.
• 통합된 시스템은 2018년 한노버 전시회에서 성공적으로 시연되었으며, 쿠카 혁신상 경연에서 5개 최종 후보 중 하나로 선정되었다.