[논문 리뷰] In-Hand Object Pose Tracking via Contact Feedback and GPU-Accelerated Robotic Simulation

Jacky Liang, Ankur Handa외 4명|arXiv (Cornell University)|2020. 02. 27.

Robot Manipulation and Learning참고 문헌 50인용 수 5

한 줄 요약

이 논문은 GPU 가속화된 로봇 시뮬레이션과 접촉 피드백을 활용한 실시간 손안의 물체 자세 추적 방법을 제안한다. 동적 조작 중에 발생하는 심한 시각적 가림을 고려하여, 병렬 물리 시뮬레이션과 도함수 기반 최적화를 조합하여 물체 자세를 추정한다. 이 방법은 단일 GPU에서 30 Hz 속도로 시뮬레이션에서 평균 6 mm의 포인트 클라우드 오차를 달성했으며, 실제 실험에서는 13 mm의 오차를 기록하였다.

ABSTRACT

Tracking the pose of an object while it is being held and manipulated by a robot hand is difficult for vision-based methods due to significant occlusions. Prior works have explored using contact feedback and particle filters to localize in-hand objects. However, they have mostly focused on the static grasp setting and not when the object is in motion, as doing so requires modeling of complex contact dynamics. In this work, we propose using GPU-accelerated parallel robot simulations and derivative-free, sample-based optimizers to track in-hand object poses with contact feedback during manipulation. We use physics simulation as the forward model for robot-object interactions, and the algorithm jointly optimizes for the state and the parameters of the simulations, so they better match with those of the real world. Our method runs in real-time (30Hz) on a single GPU, and it achieves an average point cloud distance error of 6mm in simulation experiments and 13mm in the real-world ones. View experiment videos at https://sites.google.com/view/in-hand-object-pose-tracking/

연구 동기 및 목표

• 동적 조작 중 심한 시각적 가림 상황에서 손안의 물체 자세 추적 문제를 해결한다.
• 시각 중심 방법과 정적 캐치 기반 접촉 접근법의 한계를 극복하여 움직이는 물체를 추적한다.
• 물리 시뮬레이션과 접촉 피드백, 최적화를 통합하여 실시간으로 고해상도 자세 추정을 가능하게 한다.
• 실제 관측치와 일치시키기 위해 물리 시뮬레이션의 파라미터(예: 질량, 마찰 계수)와 물체 상태를 동시에 최적화하여 추적 정확도를 향상시킨다.
• 초기 자세 불확실성과 노이즈가 많은 센서 데이터가 존재하는 상황에서도 시뮬레이션 및 실제 세계 환경에서 우수한 성능을 발휘한다.

제안 방법

• Isaac Gym을 사용하여 GPU 가속화된 물리 시뮬레이터를 활용해 실시간으로 40개의 병렬 시뮬레이션을 실행하여 로봇-물체 상호작용을 모의한다.
• 시각 기반 자세 등록을 바탕으로 초기 불확실성을 반영하기 위해 변형된 물체 자세로 시뮬레이션을 초기화한다.
• 실제 로봇과 시뮬레이션된 로봇에 동일한 로봇 제어 명령어를 적용하여 역학적 동기화를 확보한다.
• 실제 손과 시뮬레이션된 손으로부터의 접촉 피드백(크기 및 방향)을 주요 관측치로 수집한다.
• 표본 기반의 도함수 기반 최적화 기법(예: REPS, PBO)을 사용하여 실시간으로 시뮬레이션 상태와 파라미터를 비용 함수가 실제 관측치와 일치하도록 반복적으로 업데이트한다.
• 각 시간 단계에서 가장 낮은 비용을 기록한 시뮬레이션 결과를 현재 물체 자세 추정치로 선택한다.

실험 결과

연구 질문

• RQ1 GPU 가속화된 물리 시뮬레이션과 접촉 피드백은 동적 조작 중 정확한 손안의 물체 자세 추적을 가능하게 하는가?
• RQ2 고정된 파라미터 시뮬레이션 대비 시뮬레이션 파라미터와 물체 상태를 동시에 최적화함으로써 추적 성능이 어떻게 향상되는가?
• RQ3 초기 자세 불확실성과 센서 노이즈는 실제 세계 환경에서 추적 정확도에 어떤 영향을 미치는가?
• RQ4 다양한 노이즈 수준에서 다양한 도함수 기반 최적화 기법(예: REPS, PBO 등)은 수렴성, 오차 분산, 내성 면에서 어떻게 비교되는가?
• RQ5 바나나와 같은 실제 물체에서 발생하는 복잡한 접촉 역학(예: 미끄러짐, 회전 불안정성)을 이 방법이 다룰 수 있는가?

주요 결과

• 24개의 궤적과 3개의 물체를 대상으로 한 시뮬레이션 실험에서 평균 포인트 클라우드 거리 오차는 6 mm를 기록하였다.
• 실제 실험에서는 평균 포인트 클라우드 거리 오차가 13 mm였으며, 최고의 성능을 보인 최적화 기법(PBO)은 폼에 대해 14.1 mm, 스팮에 대해 12.2 mm의 오차를 기록하였다.
• 시뮬레이션에서 중간 수준의 초기 자세 노이즈 조건에서 REPS와 PBO 최적화 기법이 각각 5.8 mm 및 5.9 mm의 최소 평균 오차를 기록하였다.
• 기본 방법 대비 최적화 기법이 오차 분산과 최대 오차를 크게 감소시켜 더 안정적인 수렴을 보였다.
• 실제 실험에서 바나나의 경우 긴 관성 모멘트와 높은 초기 조건 민감도로 인해 시뮬레이션의 발산이 발생하여 추적에 실패하였다.
• 비용 함수에 접촉 및 미끄러짐 감지 피드백을 통합함으로써 추적 성능 향상이 가능함을 탐색 실험(탐색 거리, 시뮬레이션 수, 피드백 포함 여부)을 통해 입증하였다.