[논문 리뷰] Learning Task-Oriented Grasping for Tool Manipulation from Simulated Self-Supervision

Kuan Fang, Yuke Zhu외 5명|arXiv (Cornell University)|2018. 06. 25.

Robot Manipulation and Learning참고 문헌 43인용 수 13

한 줄 요약

이 논문은 대규모 시뮬레이션된 자기지도 학습을 통해 임무 지향적 그립과 조작 정책을 공동 최적화하는 딥러닝 모델인 작업 지향적 그립 네트워크(TOG-Net)를 제안한다. 물리 시뮬레이터에서 정해진 절차에 따라 생성된 3차원 도구로 훈련된 TOG-Net은 실제 흔들기 작업에서 71.1%의 성공률과 망치질 작업에서 80.0%의 성공률을 기록했으며, 임의의 도구에 대해 임의의 도구를 사용할 때도 임무에 맞는 그립을 학습함으로써 임무 무관 기준보다 뛰어난 성능을 보였다.

ABSTRACT

Tool manipulation is vital for facilitating robots to complete challenging task goals. It requires reasoning about the desired effect of the task and thus properly grasping and manipulating the tool to achieve the task. Task-agnostic grasping optimizes for grasp robustness while ignoring crucial task-specific constraints. In this paper, we propose the Task-Oriented Grasping Network (TOG-Net) to jointly optimize both task-oriented grasping of a tool and the manipulation policy for that tool. The training process of the model is based on large-scale simulated self-supervision with procedurally generated tool objects. We perform both simulated and real-world experiments on two tool-based manipulation tasks: sweeping and hammering. Our model achieves overall 71.1% task success rate for sweeping and 80.0% task success rate for hammering. Supplementary material is available at: bit.ly/task-oriented-grasp

연구 동기 및 목표

• 임무 무관 그립이 안정성은 중시하지만 임무 특화 기능을 고려하지 않는 한계를 보완하기 위해, 임무 성공을 극대화하기 위해 그립과 조작 정책을 공동 최적화한다.
• 손으로 설계된 기능이나 사전 정의된 기능을 요구하지 않고도 시뮬레이션 및 실제 환경에서 새로운 도구에 일반화할 수 있도록 한다.
• 절차적으로 생성된 3차원 도구를 사용해 물리 시뮬레이터를 활용하여 수백만 개의 자기지도 학습 그립 및 조작 시도를 생성함으로써 딥러닝을 위한 데이터 수집을 확장한다.
• 계획된 임무 결과를 기반으로 그립과 동작을 선택하는 통합 모델을 훈련시켜 직접적으로 임무 성공을 최적화한다.
• 예를 들어 손잡이를 잡는 망치나 도구의 헤드로 흔들기를 하는 것처럼 임무 특화 그립이 임무 성공률을 높이며, 안정성 중심의 그립보다 뛰어난 성능을 보임을 입증한다.

제안 방법

• TOG-Net은 도구와 임무 목표의 시각적 관측에 조건부로 작동하는 임무 지향적 그립 모듈과 조작 정책으로 구성된 통합 모델이다.
• 그립 모듈은 예측된 임무 성공률에 기반해 여러 후보 그립을 평가하고, 가장 높은 점수를 받는 그립을 실행한다.
• 조작 정책은 선택된 그립에 조건부로 제어 동작을 생성하여 임무 수행을 가능하게 한다.
• 대규모 자기지도 학습은 실시간 물리 시뮬레이터를 통해 생성되며, 로봇이 절차적으로 생성된 3차원 도구를 사용해 자율적으로 그립 및 조작 시도를 수행한다.
• 훈련 데이터는 임무 성공 또는 실패로 자동으로 레이블이 지정되어 인간의 레이블링 없이 엔드 투 엔드 학습이 가능하다.
• 모델은 임무 완료에서 유도된 자기지도 보상과 함께 강화학습 또는 이mitation 학습을 사용해 공동으로 훈련된다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 모델이 임무 성공을 극대화하기 위해 임무 지향적 그립과 조작 정책을 공동 최적화할 수 있는가?
• RQ2 절차적으로 생성된 도구를 사용한 시뮬레이션 자기지도 학습이 실제 환경에서 새로운 도구에 일반화하는 데 얼마나 효과적인가?
• RQ3 임무 특화 목표에 따라 안내되는 임무 지향적 그립이 단지 그립의 안정성에 중점을 둔 임무 무관 그립보다 더 높은 임무 성공률을 달성하는가?
• RQ4 다양한 도구 형상(예: T자형, L자형, 기타)이 임무 지향적 그립 모델의 성능에 어떤 영향을 미치는가?
• RQ5 자신의 시각 입력과 자기지도 피드백만을 사용해 시뮬레이션에서 훈련된 모델이 미세조정 없이 실제 도구 조작에 일반화할 수 있는가?

주요 결과

• TOG-Net은 9종의 새로운 도구를 사용해 실제 흔들기 작업에서 71.1%의 성공률를 기록했으며, 임무 무관 방법보다 뚜렷하게 뛰어난 성능을 보였다.
• 망치질 작업에서는 새로운 도구에서 80.0%의 성공률를 달성했으며, 다양한 도구 형상에 걸쳐 뛰어난 일반화 능력을 입증했다.
• 시뮬레이션 환경에서는 기준 모델보다 성능이 뛰어났으며, 질량 중심 근처에 그립하는 임무 무관 그립은 종종 임무 수행에 최적화되어 있지 않았다.
• 망치질 작업에서는 손잡이의 끝부분에 그립하여 토크를 극대화하고, 흔들기 작업에서는 평평한 표면에 그립하여 접촉 면적을 극대화하도록 학습했다.
• T자형 도구에서는 흔들기 작업에서 73.3%의 성공률, 망치질 작업에서 86.7%의 성공률를 기록했으며, 기하학적으로 단순한 도구에서 뛰어난 성능을 보였다.
• 냄비와 같은 기타 물체에서는 흔들기 작업에서 60.0%의 성공률, 망치질 작업에서 66.7%의 성공률를 기록했으며, 비표준 도구 형상에 효과적으로 적응함을 보였다.