[논문 리뷰] Tactile Pose Estimation and Policy Learning for Unknown Object Manipulation

Tarik Keleştemur, Robert Platt외 1명|arXiv (Cornell University)|2022. 03. 21.

Robot Manipulation and Learning인용 수 11

한 줄 요약

이 논문은 사전에 물체의 형태나 크기 정보 없이도 미지의 물체를 조작하기 위한 触각 기반 자세 추정 및 정책 학습 프레임워크를 제안한다. 이는 이산 베이즈 필터 내에서 학습된 触각 관측 모델을 사용하여 정확한 2-mm 위치 및 1도 회전 자세 추정을 가능하게 하며, 이는 딥 강화학습 정책이 시뮬레이션과 실제 세계의 병따기 작업에서 새로운 물체를 81% 성공률로 성공적으로 조작할 수 있도록 한다.

ABSTRACT

Object pose estimation methods allow finding locations of objects in unstructured environments. This is a highly desired skill for autonomous robot manipulation as robots need to estimate the precise poses of the objects in order to manipulate them. In this paper, we investigate the problems of tactile pose estimation and manipulation for category-level objects. Our proposed method uses a Bayes filter with a learned tactile observation model and a deterministic motion model. Later, we train policies using deep reinforcement learning where the agents use the belief estimation from the Bayes filter. Our models are trained in simulation and transferred to the real world. We analyze the reliability and the performance of our framework through a series of simulated and real-world experiments and compare our method to the baseline work. Our results show that the learned tactile observation model can localize the pose of novel objects at 2-mm and 1-degree resolution for position and orientation, respectively. Furthermore, we experiment on a bottle opening task where the gripper needs to reach the desired grasp state.

연구 동기 및 목표

• 물체의 형태나 크기 정보 없이도 오직 触각 피드백만을 사용하여 미지 물체의 정밀 자세 추정을 가능하게 하기 위해.
• 시뮬레이션과 실제 세계에서 새로운 물체로 일반화 가능한 강력한 触각 관측 모델을 개발하기 위해.
• 베이즈 필터의 믿음 상태를 사용하여 정책을 학습함으로써 비정형 환경에서의 작업 성능을 향상시키기 위해.
• 오직 触각 센서만을 사용하여 새로운 물체에 대해 고정밀 조작(2 mm, 1°)을 달성하기 위해.
• 도메인 랜덤라이제이션을 최소화하면서도 시뮬레이션에서 학습된 정책을 실제 세계로 이식하기 위해.

제안 방법

• 이산 베이즈 필터는 학습된 触각 관측 모델과 결정론적 운동 모델을 통합하여, 미지 물체에 대한 그립퍼의 자세를 추정한다.
• 촉각 관측 모델은 시뮬레이션 환경에서 그립퍼에 시각-촉각 센서를 장착하고 생성된 합성 촉각 영상으로 훈련된 딥 네ural 네트워크이다.
• 시뮬레이션 내 촉각 영상 증강은 실제 센서 배경 영상과 가우시안 노이즈를 추가하여 시뮬레이션에서 실제 세계로의 전이를 향상시킨다.
• 정책은 베이즈 필터의 믿음 상태를 입력으로 사용하여 딥 강화학습으로 훈련되며, 행동은 종단 효과기의 점진적 이동으로 정의된다.
• 시스템은 TACTO 시뮬레이터를 사용하여 픽셀 단위의 촉각 차이를 생성하고, 실제 센서 배경을 사용하여 합성 촉각 데이터를 校정한다.
• 실제 UR5 로봇에서 행동을 실행하기 위해 온라인으로 역기구학을 해결하며, 믿음-목표 오차 기반으로 에피소드 종료 조건을 설정한다.

실험 결과

연구 질문

• RQ1 학습된 촉각 관측 모델은 미지 물체의 자세를 1cm 이내 및 1도 이내 정밀도로 추정할 수 있는가?
• RQ2 시뮬레이션 데이터로 훈련된 믿음 기반 정책이 실제 세계 조작 작업으로 일반화되는 정도는 어떠한가?
• RQ3 광범위한 도메인 랜덤라이제이션 없이도 실제 세계 조작에서 높은 성공률를 달성할 수 있는가?
• RQ4 촉각 조작 정책 학습에서 믿음 추정과 순환 신경망의 사용이 어떤 영향을 미치는가?
• RQ5 재학습 없이도 다양한 카테고리의 여러 개의 새로운 물체를 처리할 수 있는가?

주요 결과

• 학습된 촉각 관측 모델은 시뮬레이션에서 새로운 물체의 자세 추정에 대해 2-mm 위치 및 1도 회전 해상도를 달성한다.
• 실제 세계의 병따기 작업에서, 정책은 모델에 대한 사전 지식 없이 다섯 종류의 병에 대해 81%의 성공률를 기록했다.
• 실제 세계에서의 평균 에피소드 길이는 7.09단계였으며, 일부 병은 성공하기까지 최대 8.57단계까지 소요되었다.
• 실패 사례의 주요 원인은 그립퍼가 완전히 닫혀 잘못된 촉각 관측과 믿음의 이탈이 발생했고, 정책이 이를 복구하지 못한 데 기인했다.
• 정책 학습에 순환 신경망을 사용한 베이스라인보다 본 방법이 우수함을 입증하여 믿음 상태 입력의 이점을 보여주었다.
• 실제 센서 배경 영상 한 장만으로도 촉각 증강을 수행하여 시뮬레이션에서 실제 세계로의 이식이 성공적으로 이루어졌다.