[논문 리뷰] Learning the Dynamics of Compliant Tool-Environment Interaction for Visuo-Tactile Contact Servoing

Mark Van der Merwe, Dmitry Berenson외 1명|arXiv (Cornell University)|2022. 10. 07.

Tactile and Sensory Interactions인용 수 5

한 줄 요약

이 논문은 완전한 기하학적 또는 물리적 모델링이 필요 없이 유연한 도구-환경 상호작용의 동역학을 학습하는 모델 기반 프레임워크를 제안한다. 새로운 접촉 특징 표현 방식—이진 접촉, 접촉선, 그리고 종단 기구의 힘 모멘트—를 사용함으로써 잠재 동역학 모델과 동작 오프셋 보정을 통해 정확한 외재적 접촉 제어를 가능하게 하며, 가림과 접촉력이 존재하는 상황에서도 실제 스크래핑 작업에서 95% 이상의 질량 제거율과 40–60%의 흔적 제거율을 달성한다.

ABSTRACT

Many manipulation tasks require the robot to control the contact between a grasped compliant tool and the environment, e.g. scraping a frying pan with a spatula. However, modeling tool-environment interaction is difficult, especially when the tool is compliant, and the robot cannot be expected to have the full geometry and physical properties (e.g., mass, stiffness, and friction) of all the tools it must use. We propose a framework that learns to predict the effects of a robot's actions on the contact between the tool and the environment given visuo-tactile perception. Key to our framework is a novel contact feature representation that consists of a binary contact value, the line of contact, and an end-effector wrench. We propose a method to learn the dynamics of these contact features from real world data that does not require predicting the geometry of the compliant tool. We then propose a controller that uses this dynamics model for visuo-tactile contact servoing and show that it is effective at performing scraping tasks with a spatula, even in scenarios where precise contact needs to be made to avoid obstacles.

연구 동기 및 목표

• 실세계의 조작 작업에서 스페츌러와 같은 유연한 도구에 대한 견고한 외재적 접촉 서보 제어를 가능하게 하기 위해.
• 도구나 환경의 기하학적 구조나 물리적 성질에 대한 사전 지식 없이 접촉을 제어하는 과제를 해결하기 위해.
• 전체 시스템 식별을 피하면서도 핵심 동역학을 포괄하는 접촉 특징 표현 방식을 개발하기 위해.
• 명시적인 3D 재구성 없이 다중 모odal 센서 입력(점군, 촉각 피드백)을 사용해 실제 세계 데이터로부터 동역학을 학습하기 위해.
• 고정도로 장애물을 피하는 접촉 경로를 접촉 빈도가 높은 환경에서 생성하기 위해.

제안 방법

• 새로운 접촉 특징 표현 방식을 사용한다: 이진 접촉 상태, 3차원 접촉선, 종단 기구의 힘 모멘트 벡터.
• 자기지도 학습된 접촉 레이블링을 사용해 7DoF 프랭카 펜다 로봇의 실제 궤적에서 훈련된 잠재 공간 동역학 모델을 적용한다.
• 로봇의 임피던스와 제어기 정확도 부족을 보완하기 위해 힘 예측 오차에서 유도된 동작 오프셋 항을 모델에 통합한다.
• 추론 중 부분 관측 상황에 대비해 시각적 가림을 활용한 데이터 증강을 사용하여 정밀도를 향상시킨다.
• 학습된 동역학을 기반으로 MPPI 샘플링을 사용하는 모델 예측 제어(MPC) 프레임워크를 사용해 제어 동작을 생성한다.
• 다중 모달 인식을 활용한다: RGB-D 점군과 촉각 피드백을 사용해 접촉 상태와 동역학을 추론한다.

실험 결과

연구 질문

• RQ1 완전한 도구나 환경의 기하학적 또는 물리적 모델링 없이도 학습된 동역학 모델이 외재적 접촉 진화를 효과적으로 예측할 수 있는가?
• RQ2 전체 시스템 식별을 피하면서도 해석 가능하고 시각적 가림에 대해 강건한 접촉 특징 표현 방식은 어떻게 설계할 수 있는가?
• RQ3 힘 예측 오차 기반의 동작 오프셋 보정이 로봇 제어기 오류가 존재하는 상황에서 제어 정밀도를 향상시킬 수 있는가?
• RQ4 이 방법은 장애물과 부분 관측과 같은 실세계 제약 조건 하에서 접촉 빈도가 높은 작업(예: 스크래핑)으로 일반화되는가?
• RQ5 데이터 증강(예: 가림)과 힘 기반 동작 보정이 실세계 접촉 서보 제어 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 다섯 번의 시험에서 실제 스크래핑 작업에서 평균 질량 제거율 95% 이상, 흔적 제거율 40–60%를 달성했다.
• 데이터 증강을 적용한 전체 모델은 시각적 가림에 대해 강건했으며, 접촉 영역 일부가 가려져 있어도 높은 성능를 유지했다.
• 힘 기반 동작 오프셋을 추가해도 일관된 성능 향상이 나타나지 않았는데, 이는 매 단계에서 MPPI를 사용해 재계획이 충분히 기능했기 때문일 수 있다.
• 이 방법은 장애물을 피하면서도 복잡한 접촉 경로를 성공적으로 완수했으며, 스페츌러의 한쪽 모서리만 접촉해도 가능했다.
• 접촉 특징 표현 방식은 명시적인 유연한 도구의 3D 재구성 없이도 정확한 접촉 상태 추적과 동역학 예측을 가능하게 했다.
• 이 방법은 다양한 접촉 기하학과 동적 외란에 대해 일반화되었으며, 더 넓은 범위의 접촉 빈도가 높은 조작 작업에 잠재력을 보였다.