[논문 리뷰] Tactile-RL for Insertion: Generalization to Objects of Unknown Geometry

Siyuan Dong, Devesh K. Jha외 4명|arXiv (Cornell University)|2021. 04. 02.

Robot Manipulation and Learning참고 문헌 20인용 수 7

한 줄 요약

이 논문은 기하학적 구조가 알려지지 않은 물체에 대해 일반화되는 촉각 강화학습(RL) 정책을 제안한다. 교육 과정 학습과 촉각 흐름 표현을 통해, 이 정책은 4종의 새로운 물체에 대해 3~4회 시도 내로 85% 이상의 성공률을 달성하며, 지도학습, 힘/토크 기반 정책, RGB 기반 촉각 입력보다 일반화 성능에서 뛰어나다.

ABSTRACT

Object insertion is a classic contact-rich manipulation task. The task remains challenging, especially when considering general objects of unknown geometry, which significantly limits the ability to understand the contact configuration between the object and the environment. We study the problem of aligning the object and environment with a tactile-based feedback insertion policy. The insertion process is modeled as an episodic policy that iterates between insertion attempts followed by pose corrections. We explore different mechanisms to learn such a policy based on Reinforcement Learning. The key contribution of this paper is to demonstrate that it is possible to learn a tactile insertion policy that generalizes across different object geometries, and an ablation study of the key design choices for the learning agent: 1) the type of learning scheme: supervised vs. reinforcement learning; 2) the type of learning schedule: unguided vs. curriculum learning; 3) the type of sensing modality: force/torque (F/T) vs. tactile; and 4) the type of tactile representation: tactile RGB vs. tactile flow. We show that the optimal configuration of the learning agent (RL + curriculum + tactile flow) exposed to 4 training objects yields an insertion policy that inserts 4 novel objects with over 85.0% success rate and within 3~4 attempts. Comparisons between F/T and tactile sensing, shows that while an F/T-based policy learns more efficiently, a tactile-based policy provides better generalization.

연구 동기 및 목표

• 기하학적 지식 없이 다양한 물체 기하학적 구조에 대해 작동하는 일반적인 로봇 삽입 정책을 개발한다.
• 촉각 또는 힘/토크 센서로 부분적으로 관측 가능한 접촉 상태를 갖는 접촉이 풍부한 조작 과제를 해결한다.
• 적절한 감각 표현 및 학습 전략을 활용해 훈련된 물체를 초월한 일반화를 향상시킨다.
• 촉각 기반 RL이 F/T 기반 및 지도학습 접근법보다 새로운 물체 형태로의 일반화에서 뛰어난 성능을 보임을 입증한다.
• 학습 체계, 교육 과정 학습, 감각 모odal리티, 촉각 표현과 같은 핵심 설계 선택 사항이 정책 성능 및 데이터 효율성에 미치는 영향을 조사한다.

제안 방법

• 반복적인 삽입 시도와 자세 보정을 포함하는 에피소드 기반 RL 문제로 삽입 과제를 수립한다.
• 고해상도 GelSlim 촉각 센서를 사용해 그립퍼 손가락의 접촉 동역학을 캡처하여 풍부한 공간적 및 시간적 피드백을 제공한다.
• 촉각 데이터를 시간에 따라 접촉 마커의 움직임으로 표현하는 촉각 흐름으로 표현하여 일반화 성능 향상과 표면 질감에 대한 과적합 방지를 도모한다.
• 과제 복잡도를 점진적으로 증가시켜 교육 과정 학습을 구현한다: 벽 → 모서리 → U자형 → 구멍, 이로 인해 데이터 효율성과 수렴 속도 향상.
• 정렬 오차와 삽입 성공 여부에 기반한 조밀한 보상 함수를 사용해 Proximal Policy Optimization(PPO)를 활용한 엔드 투 엔드 딥 RL 에이전트를 훈련한다.
• 초기 탐색 성능 향상과 훈련 안정화를 위해 RL 정책을 지도학습 정책으로 부트스트랩한다.

Figure 1: Insertion task with the proposed Tactile RL policy.

실험 결과

연구 질문

• RQ1 촉각 기반 RL 정책은 접촉이 풍부한 삽입 과제에서 기하학적 구조가 알려지지 않은 새로운 물체로 일반화될 수 있는가?
• RQ2 교육 과정 학습은 촉각-RL을 통한 삽입 과제에서 데이터 효율성과 수렴 속도를 어떻게 향상시키는가?
• RQ3 RL 기반 삽입 과제에서 촉각 흐름 표현은 원시 RGB 촉각 이미지보다 더 나은 일반화 성능을 보이는가?
• RQ4 다양한 물체 형태에서 촉각 센서는 F/T 센서보다 일반화 성능에서 뛰어나게 작용하는가?
• RQ5 부분적으로 관측 가능한 접촉 상태를 다룰 때, 지도학습과 강화학습의 상대적 영향은 무엇인가?

주요 결과

• 최적의 구성—RL에 교육 과정 학습과 촉각 흐름을 적용한 결과, 4종의 새로운 물체에 대해 3~4회 시도 내로 85.0% 이상의 성공률 달성.
• 교육 과정 학습을 적용한 RL 정책는 훈련 물체에서 반의 수의 시도로 80% 성공률에 도달하며, 비교육 과정 학습 RL보다 더 빠르게 수렴하였다.
• 지도학습 기반 베이스라인에 비해 촉각-RL 정책는 훨씬 더 뛰어난 일반화 성능를 보였으며, 테스트 중에 직육면체 및 종이 상자 형태의 물체를 삽입하지 못했다.
• 원시 RGB 촉각 이미지를 사용한 정책는 훈련된 물체에 과적합되어, 큰 병과 종이 상자와 같은 새로운 물체에서 거의 0%의 성공률를 기록했다.
• F/T 기반 RL 정책는 실린더형 물체에서는 거의 100% 성공률를 기록했지만, 직육면체 형태의 물체에서는 55%로 떨어져, 회전 오차에 대한 일반화 성능이 열악함을 보였다.
• 촉각 센서는 F/T 센서보다 더 나은 일반화 성능를 제공했으며, 촉각 흐름은 F/T 센서가 구분하지 못하는 접촉 동역학의 움직임을 포착했다.

Figure 2: Tactile signals for four contact configurations. In the first 2 cases, the object contacts an edge in the environment that is perpendicular to the plane of the sensors, and consequently the object rotates in the plane of the sensors. Note that the rotation directions are opposite in cases