[논문 리뷰] Optical Tactile Sim-to-Real Policy Transfer via Real-to-Sim Tactile Image Translation.

Alex Church, John W. Lloyd외 2명|arXiv (Cornell University)|2021. 06. 16.

Robot Manipulation and Learning참고 문헌 33인용 수 4

한 줄 요약

이 논문은 실제 터치 센서 이미지를 시뮬레이션 터치 센서 이미지로 변환하는 실세계에서의 시뮬레이션 터치 이미지 변환 기법을 활용하여, 시뮬레이션에서 훈련된 정책을 실제 로봇에 제로샷으로 구현할 수 있는 触覚 로봇을 위한 시뮬레이션에서 실제로 정책 전이 프레임워크를 제안한다. 높은 해상도의 광학 터치 센서를 깊이 이미지로 시뮬레이션하고, 데이터 기반 방법을 통해 실제 터치 센서 데이터를 시뮬레이션된 대응 이미지로 변환함으로써, PPO로 훈련된 정책을 사용하여 물리적 조작 작업에서 성공적인 작업 실행을 달성한다.

ABSTRACT

Simulation has recently become key for deep reinforcement learning to safely and efficiently acquire general and complex control policies from visual and proprioceptive inputs. Tactile information is not usually considered despite its direct relation to environment interaction. In this work, we present a suite of simulated environments tailored towards tactile robotics and reinforcement learning. A simple and fast method of simulating optical tactile sensors is provided, where high-resolution contact geometry is represented as depth images. Proximal Policy Optimisation (PPO) is used to learn successful policies across all considered tasks. A data-driven approach enables translation of the current state of a real tactile sensor to corresponding simulated depth images. This policy is implemented within a real-time control loop on a physical robot to demonstrate zero-shot sim-to-real policy transfer on several physically-interactive tasks requiring a sense of touch.

연구 동기 및 목표

• 시뮬레이션에서 실제 세계 로봇 제어로의 정책 전이를 가능하게 하여 터치 강화 학습에서의 시뮬레이션과 실제 세계 간 격차를 해소하는 것.
• 접촉 기하학의 고해상도 깊이 이미지를 사용하여 광학 터치 센서를 빠르고 정확하게 시뮬레이션하는 방법을 개발하는 것.
• 실제 로봇에 실시간 정책 배포를 가능하게 하기 위해 실제 터치 센서 관측값을 해당 시뮬레이션된 센서 입력으로 변환하는 것.
• 터치 인식이 필요한 물리적 상호작용 작업에서 제안된 방법의 효과성을 입증하는 것.

제안 방법

• 시뮬레이션 내에서 세밀한 접촉 기하학으로부터 고해상도 깊이 이미지를 렌더링하여 광학 터치 센서를 시뮬레이션한다.
• 실제 터치 센서 이미지를 해당 시뮬레이션된 깊이 이미지로 변환하기 위한 데이터 기반 변환 모델을 훈련한다.
• 시각적 및 프로 prioceptive 관측값을 사용하여 Proximal Policy Optimization (PPO)를 통해 시뮬레이션에서 제어 정책을 훈련한다.
• 실시간 제어 루프에 터치 변환 모델을 통합하여 실제 로봇에 제로샷 정책 전이를 가능하게 한다.
• 터치 로봇 및 복잡한 조작 작업에 특화된 시뮬레이션 환경 세트를 설계한다.
• 이미지 변환을 통해 실제 센서 관측값과 시뮬레이션 관측값을 정렬함으로써 엔드 투 엔드 정책 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 실세계에서의 시뮬레이션 터치 이미지 변환은 터치 로봇에서 제로샷 시뮬레이션에서 실제로의 정책 전이를 가능하게 하는가?
• RQ2 제안된 광학 터치 센서 시뮬레이션 방법은 고해상도 접촉 기하학을 얼마나 정확하게 포착하는가?
• RQ3 변환된 터치 관측값을 사용하여 실제 로봇에 배포된 PPO로 훈련된 정책의 성능은 어떠한가?
• RQ4 터치 감지가 필요한 다양한 물리적 상호작용 작업 간에 정책 전이의 탄력성은 어떠한가?

주요 결과

• 제안된 방법은 터치 피드백이 필요한 다수의 물리적 상호작용 작업에 대해 성공적인 제로샷 시뮬레이션에서 실제로의 정책 전이를 가능하게 한다.
• 데이터 기반 터치 이미지 변환 모델은 실제 터치 센서 데이터를 시뮬레이션된 깊이 이미지와 효과적으로 정렬하여 정확한 정책 배포를 가능하게 한다.
• 변환된 터치 관측값을 사용할 경우 PPO로 훈련된 정책은 시뮬레이션에서 실제 세계로 잘 일반화된다.
• 시뮬레이션 프레임워크는 접촉 기하학의 깊이 이미지 표현을 통해 고해상도 광학 터치 감지 지원을 가능하게 한다.
• 실시간 제어 루프 통합은 학습된 정책을 추가 조정 없이 실제 로봇에 배포할 수 있음을 보여준다.
• 이 방법은 시뮬레이션에서 실제 세계로의 도메인 랜덤라이제이션 또는 추가 적응 없이도 다수의 터치 조작 작업에서 신뢰할 수 있는 작업 실행을 달성한다.