[논문 리뷰] Hierarchical Haptic Manipulation for Complex Skill Learning

Simon Hangl, Emre Uğur외 2명|arXiv (Cornell University)|2016. 03. 02.

Robot Manipulation and Learning참고 문헌 21인용 수 3

한 줄 요약

이 논문은 복잡한 기술 학습을 가능하게 하는 계층적 촉각적 조작 프레임워크를 제안한다. 이는 자율적 기술 재생과 재사용 가능한 기본 기술을 통해 이루어진다. 기술 계층을 통해 새로운 환경을 알려진 상태로 변환함으로써, 이 방법은 최소한의 감독과 강한 환경 가정 없이도 복잡한 이중손 조작 작업에서 일반화를 달성한다.

ABSTRACT

In complex manipulation scenarios (e.g. tasks requiring complex interaction of two hands or in-hand manipulation), generaliza- tion is a hard problem. Current methods still either require a substantial amount of (supervised) training data and / or strong assumptions on both the environment and the task. In this paradigm, controllers solving these tasks tend to be complex. We propose a paradigm of maintaining simpler controllers solving the task in a small number of specific situations. In order to generalize to novel situations, the robot transforms the environment from novel situations to a situation where the solution of the task is already known. Our solution to this problem is to play with objects and use previously trained skills (basis skills). These skills can either be used for estimating or for changing the current state of the environment and are organized in skill hierarchies. The approach is evaluated in complex pick-and-place scenarios that involve complex manipulation. We further show that these skills can be learned by autonomous playing.

연구 동기 및 목표

• 다중손 조율 또는 손 안에서의 조작이 필요한 복잡한 조작 작업에서의 일반화 문제를 해결하기 위해.
• 대규모 감독 데이터셋과 환경 또는 작업 구조에 대한 강한 가정에 의존도를 줄이기 위해.
• 학습된 기본 기술을 사용하여 새로운 상황을 알려진 상태로 변환함으로써 로봇이 새로운 상황으로 일반화할 수 있도록 하기 위해.
• 효율적인 작업 실행을 위한 기술을 체계적으로 조직하는 확장 가능한 계층적 제어 프레임워크를 개발하기 위해.
• 기본 기술이 자율적으로 자기지도 학습을 통해 재생을 통해 습득될 수 있음을 보여주기 위해.

제안 방법

• 이전에 훈련된 기본 기술을 계층적 구조로 조직하여 복잡한 작업에서의 조합성을 가능하게 한다.
• 로봇은 이러한 기본 기술을 사용해 환경의 현재 상태를 추정하거나 능동적으로 변화시킨다.
• 새로운 상황은 알려진 기술을 적용할 수 있는 상태로 환경을 변형함으로써 처리된다.
• 시스템은 조작 중 기술 선택과 상태 변환을 안내하기 위해 촉각 피드백을 활용한다.
• 기본 기술은 자율적 자기지도 탐색과 물체와의 놀이를 통해 습득된다.
• 계층적 구조는 높은 수준의 결정이 환경 상태에 기반해 적절한 저수준 기술을 선택할 수 있도록 모듈러 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 로봇은 추가적인 재훈련 없이도 복잡한 환경에서 복잡한 조작 기술을 어떻게 일반화할 수 있는가?
• RQ2 기본 기술은 자기지도 놀이를 통해 자율적으로 습득될 수 있는가?
• RQ3 계층적 기술 조직은 이중손 조작 작업에서의 일반화를 위해 얼마나 효과적인가?
• RQ4 기본 기술 적용을 통한 환경 변형은 복잡한 상황에서 작업 성공률을 얼마나 향상시킬 수 있는가?
• RQ5 촉각 피드백은 어떻게 안정적인 상태 추정과 기술 선택을 가능하게 하는가?

주요 결과

• 계층적 촉각적 조작 프레임워크는 추가적인 감독 데이터가 필요 없이도 새로운 조작 시나리오로 일반화하는 데 성공했다.
• 자율적 놀이를 통해 재사용 가능한 기본 기술이 습득되었으며, 이는 복잡한 집어 올리기 및 놓기 작업에서 효과적이다.
• 새로운 상태를 알려진, 해결 가능한 구성으로 변환함으로써 이중손 조작에서 신뢰할 수 있는 작업 실행을 달성했다.
• 기본 기술 계층의 사용은 다양한 환경에서 성능를 유지하면서도 제어기 복잡도를 감소시켰다.
• 촉각 피드백은 상태 추정을 향상시키고 작업 실행 중 정확한 기술 선택을 가능하게 하였다.
• 伝통적 방법이 일반화 부족으로 실패하는 복잡한 상황에서도 이 방법은 강건성을 보였다.