[논문 리뷰] Surface Following using Deep Reinforcement Learning and a GelSightTactile Sensor

Chen Lü, Jing Wang외 1명|arXiv (Cornell University)|2019. 12. 02.

Tactile and Sensory Interactions참고 문헌 22인용 수 8

한 줄 요약

이 논문은 원시 촉각 데이터를 직접 종단 간 행동 정책로 매핑함으로써, GelSight 촉각 센서를 사용하여 로봇 표면 추적을 가능하게 하는 종단 간 딥 강화 학습 접근법을 제안한다. SFDQN 모델은 알려지지 않은 또는 정확히 모델링되지 않은 표면에서 안정적인 조작을 위한 효과적인 접촉 면적 조절을 위해 80% 이상의 정확도를 달성한다.

ABSTRACT

Tactile sensors can provide detailed contact in-formation that can facilitate robots to perform dexterous, in-hand manipulation tasks. One of the primitive but important tasks is surface following that is a key feature for robots while exploring unknown environments or workspace of inaccurate modeling. In this paper, we propose a novel end-to-end learning strategy, by directly mapping the raw tactile data acquired from a GelSight tactile sensor to the motion of the robot end-effector.Experiments on a KUKA youBot platform equipped with theGelSight sensor show that 80% of the actions generated by a fully trained SFDQN model are proper surface following actions; the autonomous surface following test also indicates that the proposed solution works well on a test surface.

연구 동기 및 목표

• 원시 촉각 데이터를 직접 로봇 행동으로 매핑하여 수작업 특징 공학을 회피하는 강건한 종단 간 표면 추적 정책을 개발한다.
• 특히 알려지지 않은 또는 정확히 모델링되지 않은 표면에서 로봇 종단 기구와 물체 표면 간의 일관된 접촉 면적을 유지한다.
• GelSight 센서에서 얻은 촉각 피드백을 기반으로 훈련된 딥 Q-네트워크(SFDQN)의 성능을 실제 표면 추적 작업에서 평가한다.
• 시각만으로는 부족한 복잡하고 동적인 접촉 상황에서 촉각 기반 제어의 실현 가능성과 적응 가능성을 입증한다.

제안 방법

• 이 방법은 원시 GelSight 센서 이미지를 입력 상태로 처리하는 새로운 SFDQN 아키텍처를 갖춘 딥 Q-네트워크(DQN)를 사용한다.
• 접촉 비율 지표는 GelSight 이미지에서 유도되어 센서 표면의 물체에 대한 접촉 비율을 정량화하며, 핵심 상태 표현으로 기능한다.
• 접촉 비율이 목표 범위와 얼마나 잘 일치하는지에 따라 조밀한, 희박한, 그리고 형태가 조정된 보상이 에이전트에게 제공된다.
• 행동 공간은 종단 기구의 운동을 실시간으로 조절하기 위한 이산적인 관절 위치 조정(예: ±0.01 rad)으로 구성된다.
• 훈련 중 상태-행동 공간 커버리지 향상을 위해 에psilon-그리디 탐색 전략을 갖춘 행동 정책를 사용한다.
• 학습 안정성을 높이기 위해 리play 버퍼와 타겟 네트워크를 사용하며, 보존된 테스트 세트에서 모델 성능을 주기적으로 평가한다.

실험 결과

연구 질문

• RQ1 GelSight 센서에서 얻은 원시 촉각 데이터를 수작업 특징 없이 효과적인 로봇 행동으로 직접 매핑할 수 있는가?
• RQ2 촉각 피드백을 기반으로 훈련된 딥 Q-네트워크(SFDQN)는 실제 세계의 표면에서 목표 접촉 비율을 유지하는 데 얼마나 잘 성능을 내는가?
• RQ3 네트워크 깊이(2층 대비 10층의 합성곱 레이어)는 SFDQN 모델의 행동 예측 안정성과 정확도에 어떤 영향을 미치는가?
• RQ4 임시적인 접촉 상실이나 급격한 표면 변화와 같은 실제 세계의 교란 상황에서 시스템은 어떻게 성능을 내는가?
• RQ5 재학습 없이도 다양한 기하학적 형태와 물리적 성질을 가진 표면으로 일반화 가능한가?

주요 결과

• SFDQN 모델은 실제 테스트 표면에서 '좋은' 행동—목표 접촉 비율을 향상시키거나 유지하는 행동—을 80% 이상의 정밀도로 생성하였다.
• 더 깊은 SFDQN 모델(10개의 합성곱 레이어)은 얕은 모델(2개의 레이어)에 비해 더 안정적이고 일관된 행동 예측 성능을 보였으며, 특히 5,000개의 훈련 시간 단위 이후에 두드러졌다.
• 시스템은 실제 나무 표면에서 자율적인 표면 추적을 성공적으로 수행하였으며, 일부 기간 동안 센서가 분리되는 상황에도 안정적인 접촉을 유지하였다.
• 시스템은 GelSight 센서의 중심 영역에서 접촉 변화에 민감하게 반응했지만, 가장자리 접촉은 특히 기울기가 큰 표면에서 과소 평가되었다.
• 시스템은 속도 상한선을 보였다. 위치 기반 행동 명령의 한계와 KUKA youBot 플랫폼에서의 속도 명령의 불안정한 지연으로 인해 빠른 표면 변화는 효과적으로 추적하지 못했다.
• GelSight 센서의 배경 이미지가 변경되면 재학습이 필요했으며, 이는 접촉 비율 계산에 정확한 기준 이미지에 의존함을 시사한다.