[논문 리뷰] Contextual Reinforcement Learning of Visuo-tactile Multi-fingered Grasping Policies

Visak Kumar, Tucker Hermans외 3명|arXiv (Cornell University)|2019. 11. 20.

Robot Manipulation and Learning인용 수 12

한 줄 요약

이 논문은 시각-촉각 인식을 활용한 다손가락 로봇 집기 작업을 위한 문맥 기반 강화학습 방법을 제안한다. 물체의 형태와 크기는 3D 경계 상자 키포인트로 표현되며, 손끝 접촉 신호는 시뮬레이션에서 실제 환경으로의 전이 갭을 줄이는 데 사용된다. 인간의 시연 사전 지식을 활용해 시뮬레이션에서만 훈련된 정책은 미리 볼 수 없는 물체 형태로 일반화되며, 보정 없이 실제 환경에서 구동 가능하다.

ABSTRACT

Using simulation to train robot manipulation policies holds the promise of an almost unlimited amount of training data, generated safely out of harm's way. One of the key challenges of using simulation, to date, has been to bridge the reality gap, so that policies trained in simulation can be deployed in the real world. We explore the reality gap in the context of learning a contextual policy for multi-fingered robotic grasping. We propose a Grasping Objects Approach for Tactile (GOAT) robotic hands, learning to overcome the reality gap problem. In our approach we use human hand motion demonstration to initialize and reduce the search space for learning. We contextualize our policy with the bounding cuboid dimensions of the object of interest, which allows the policy to work on a more flexible representation than directly using an image or point cloud. Leveraging fingertip touch sensors in the hand allows the policy to overcome the reduction in geometric information introduced by the coarse bounding box, as well as pose estimation uncertainty. We show our learned policy successfully runs on a real robot without any fine tuning, thus bridging the reality gap.

연구 동기 및 목표

• 실제 환경 구동을 위한 시뮬레이션 기반 훈련을 통해 다손가락 로봇 집기의 시뮬레이션-실제 전이 일반화 갭을 해결한다.
• 인간의 손 움직임 시연을 사전 지식으로 활용해 집기 정책의 고차원적 탐색 공간을 줄인다.
• 원시 시각 특징이 아닌 3D 경계 상자 키포인트로 물체를 표현함으로써 다양한 물체 형태에 대한 일반화를 향상시킨다.
• 손끝 센서에서 온 촉각 피드백을 통합함으로써 실제 환경에서 기하학적 및 자세 추정 불확실성을 극복한다.
• 단일 정책을 다양한 물체 형태에 대해 보정 없이 샘플링 없이 적용 가능하게 하여, 문맥 기반 정책 학습을 통해 0-샷 배포를 실현한다.

제안 방법

• 최신 기술의 자세 추정을 통해 인간 손의 움직임을 RGB 영상으로부터 3D 손 자세를 추정하고, 이를 시뮬레이션에서 보상 형태 신호로 사용된 시연 트랙토리로 추출한다.
• 물체 기하학과 크기를 경계 상자(경계 상자)의 여덟 꼭짓점의 3D 좌표로 표현하며, 이를 정책 네트워크의 문맥 변수로 사용한다.
• 이진 손끝 접촉 신호를 상태 관측치의 일부로 통합하여 집기 품질과 물체 상호작용에 대한 실시간 피드백을 제공한다.
• 시각적 및 촉각적 상태를 통합하여, 딥 디터미니스틱 정책 그래디언트(DDPG)-기반의 문맥 기반 강화학습 정책을 시뮬레이션 환경에서 훈련한다.
• 경계 상자(문맥 변수)를 활용해 정책이 훈련 중에 보지 못한 새로운 물체 형태로 일반화할 수 있도록 한다.
• RGB 기반 자세 추정기로 시각 입력을 제공하고, BioTac 촉각 센서로 접촉 피드백을 제공하여 실제 로봇에 최종 정책을 배포한다.

실험 결과

연구 질문

• RQ1 단일 강화학습 정책이 시뮬레이션에서 훈련된 후 보정 없이 실제 환경에서 미리 볼 수 없는 물체 형태의 다손가락 집기 작업을 수행할 수 있는가?
• RQ2 경계 상자 키포인트 표현이 다양한 물체 기하학에 걸쳐 일반화를 가능하게 하는 데 있어 문맥 변수로서 얼마나 효과적인가?
• RQ3 촉각 피드백은 시뮬레이션-실제 전이 과정에서 자세 추정 오차와 형태 불일치에 대해 얼마나 정책의 강건성을 향상시키는가?
• RQ4 인간의 시연 트랙토리로 보상 사전 지식을 도입하면, 시뮬레이션에서의 시뮬레이션-실제 집기 작업 훈련에서 샘플 효율성과 정책 수렴에 얼마나 기여하는가?
• RQ5 물체의 문맥과 촉각 피드백에 따라 조건을 주면, 단일 정책이 정밀 집기와 파워 집기와 같은 다양한 집기 스타일을 학습할 수 있는가?

주요 결과

• 제안된 정책는 시뮬레이션에서만 훈련된 후 보정 없이 실제 환경에서 다양한 새로운 물체 형태(콘과 실린더 포함)를 성공적으로 집을 수 있었다.
• 경계 상자 키포인트 문맥과 촉각 접촉 신호의 조합은 상자 형태 근사치와 크게 다를 수 있는 물체 형태에 대해서도 정책의 적응 능력을 향상시켰다.
• 실제 로봇에서 수동으로 설계된 모델 기반 집기 계획자와 유사한 성능을 달성하여, 강력한 시뮬레이션-실제 일반화 능력을 입증했다.
• 인간의 시연 기반 보상 형태 형성은 시뮬레이션 내 훈련 과정에서 샘플 효율성과 정책 수렴에 크게 기여했다.
• 물체의 문맥만 변경함으로써 단일 정책이 다양한 집기 스타일(재훈련 없이, 아키텍처 변경 없이)에 대해 0-샷 배포가 가능하게 하였다.
• 촉각 피드백은 정책이 시각적 자세 추정 오류나 경계 상자에 의해 잘못 표현된 물체 기하학 상황에서도 접촉을 감지하고 유지할 수 있도록 하여, 강건성에 핵심적인 역할을 했다.