[논문 리뷰] In-Hand Gravitational Pivoting Using Tactile Sensing

Jason Toskov, R. Newbury외 3명|arXiv (Cornell University)|2022. 10. 11.

Tactile and Sensory Interactions인용 수 4

한 줄 요약

이 논문은 힘 기반의 触覚 센서에서의 힘 데이터를 이용해 물체의 각도 위치와 속도를 추정하는 LSTM 기반 모델(RSE-LSTM)을 사용하여, 시각이나 사전 물체 지식 없이도 터치 중심의 인핸드 중력 기반 피벗링을 수행하는 방법을 제안한다. 이 방법은 병렬 클램프를 사용하여 목표 각도로 물체를 회전시킬 수 있으며, 미세조정을 통해 16.6%의 성능 향상을 달성했고, 알려지지 않은 가정용 물체에 대한 제로샷 일반화에서 기준 MLP보다 뛰어난 성능을 보였다.

ABSTRACT

We study gravitational pivoting, a constrained version of in-hand manipulation, where we aim to control the rotation of an object around the grip point of a parallel gripper. To achieve this, instead of controlling the gripper to avoid slip, we embrace slip to allow the object to rotate in-hand. We collect two real-world datasets, a static tracking dataset and a controller-in-the loop dataset, both annotated with object angle and angular velocity labels. Both datasets contain force-based tactile information on ten different household objects. We train an LSTM model to predict the angular position and velocity of the held object from purely tactile data. We integrate this model with a controller that opens and closes the gripper allowing the object to rotate to desired relative angles. We conduct real-world experiments where the robot is tasked to achieve a relative target angle. We show that our approach outperforms a sliding-window based MLP in a zero-shot generalization setting with unseen objects. Furthermore, we show a 16.6% improvement in performance when the LSTM model is fine-tuned on a small set of data collected with both the LSTM model and the controller in-the-loop. Code and videos are available at https://rhys-newbury.github.io/projects/pivoting/

연구 동기 및 목표

• 시각이나 물체 특화 모델에 의존하지 않고, 오직 触覚 피드백만을 사용하여 안정적인 인핸드 물체 재정렬을 가능하게 하기 위해.
• 미끄럼을 제어 메커니즘으로 삼는 중력 기반 피벗링 중 물체의 각도 위치와 속도를 추적하는 문제를 해결하기 위해.
• 물체의 질량, 형상, 마찰 계수에 대한 사전 지식 없이도 작동하는 일반화 가능한 클램프 제어기 개발을 위해.
• 10종의 가정용 물체를 대상으로 중력 기반 피벗링 작업을 위한 실제 터치 데이터셋을 수집하고 공개하기 위해.
• 실제 환경 실험에서 알려지지 않은 물체에 대한 제로샷 일반화 및 미세조정 성능 평가를 위해.

제안 방법

• RSE-LSTM 신경망을 학습시켜 피벗링 과정 동안 수집된 힘 기반의 터치 센서 데이터로부터 물체의 각도 위치와 속도를 예측한다.
• 클램프 제어기가 RSE-LSTM 예측 결과에 따라 그립 너비를 조절하여 목표 각도 쪽으로 중력 기반 피벗링을 유도한다.
• 두 가지 데이터 수집 프로토콜을 사용한다: 정적 추적 데이터셋과 제어기 내장형 데이터셋이며, 모두 각도 위치 및 속도로 레이블링되어 있다.
• 클램프가 닫히는 데 약 0.83초의 지연이 발생하므로, 향후 예측을 통해 이를 보상하고, 속도 추정치에 기반해 멈춤 조건을 조정한다.
• RSE-LSTM 모델과 제어기가 함께 작동하면서 수집한 데이터를 사용해 실세계 성능 향상을 위해 미세조정을 수행한다.
• 비교를 위해 동일한 터치 입력을 사용하는 슬라이딩 윈도우 기반 MLP 기준 모델을 사용한다.

실험 결과

연구 질문

• RQ1 중력 기반 피벗링 중에 터치 센서만으로 물체의 각도 위치와 속도를 정확히 추정할 수 있는가?
• RQ2 시각이나 물체 사전 지식 없이도 터치 피드백만을 사용하는 클램프 제어기가 목표 각도로 물체를 재정렬할 수 있는가?
• RQ3 RSE-LSTM 모델이 실세계 환경에서 알려지지 않은 물체에 대해 기준 MLP보다 얼마나 잘 일반화되는가?
• RQ4 내부 제어기에서 수집한 데이터에 대한 미세조정이 알려지지 않은 물체에 대한 제어 성능 향상에 얼마나 기여하는가?
• RQ5 특히 제어 지연과 속도 추정 오류로 인해 발생하는 주요 실패 유형과 성능 저하 요인은 무엇인가?

주요 결과

• RSE-LSTM 모델은 알려지지 않은 물체에 대한 제로샷 일반화에서 MLP 기준 모델보다 뛰어난 일반화 능력을 입증했다.
• RSE-LSTM 모델을 내부 제어기에서 수집한 데이터로 미세조정함으로써 성능이 16.6% 향상되었으며, 목표 오차는 15.2°에서 12.67°로 감소했다.
• 실세계 실험에서 LSTM 모델은 실패율 3.3%를 기록했고, 이는 MLP의 6.7%보다 현저히 낮았다.
• 오라클 제어기(정확한 시각 피드백 사용)는 목표 오차 3.95°를 기록했으며, 이는 상한선으로서의 역할을 했고, 최고의 RSE-LSTM 모델은 12.67°의 오차를 기록했다.
• 실세계 테스트에서는 테스트 세트보다 더 높은 추적 오차를 보였는데, 이는 과도한 오버슈트 및 클램프가 완전히 닫히지 않는 등의 모델링되지 않은 동역학 때문일 가능성이 높다.
• 일부 물체에서는 성능 저하가 관찰되어 질량이나 표면 마찰 계수 등의 물체 특성에 민감할 수 있음을 시사하며, 더 넓은 범위의 데이터 수집이 필요함을 강조한다.