[논문 리뷰] TriPilot-FF: Coordinated Whole-Body Teleoperation with Force Feedback

Zihao Li, Yanan Zhou외 4명|arXiv (Cornell University)|2026. 02. 10.

Teleoperation and Haptic Systems인용 수 0

한 줄 요약

TriPilot-FF는 지면 페달 기반의 lidar 구동 힘 피드백과 리더-팔로워 양손 원격조작을 결합하여 모바일 매니퓰레이터의 전체 바디 제어를 향상시키고 도달성, 충돌 회피, 장기 과업에서의 성능을 향상시키며 토크 강화 정책 학습을 제공합니다.

ABSTRACT

Mobile manipulators broaden the operational envelope for robot manipulation. However, the whole-body teleoperation of such robots remains a problem: operators must coordinate a wheeled base and two arms while reasoning about obstacles and contact. Existing interfaces are predominantly hand-centric (e.g., VR controllers and joysticks), leaving foot-operated channels underexplored for continuous base control. We present TriPilot-FF, an open-source whole-body teleoperation system for a custom bimanual mobile manipulator that introduces a foot-operated pedal with lidar-driven pedal haptics, coupled with upper-body bimanual leader-follower teleoperation. Using only a low-cost base-mounted lidar, TriPilot-FF renders a resistive pedal cue from proximity-to-obstacle signals in the commanded direction, shaping operator commands toward collision-averse behaviour without an explicit collision-avoidance controller. The system also supports arm-side force reflection for contact awareness and provides real-time force and visual guidance of bimanual manipulability to prompt mobile base repositioning, thereby improving reach. We demonstrate the capability of TriPilot-FF to effectively ``co-pilot'' the human operator over long time-horizons and tasks requiring precise mobile base movement and coordination. Finally, we incorporate teleoperation feedback signals into an Action Chunking with Transformers (ACT) policy and demonstrate improved performance when the additional information is available. We release the pedal device design, full software stack, and conduct extensive real-world evaluations on a bimanual wheeled platform. The project page of TriPilot-FF is http://bit.ly/46H3ZJT.

연구 동기 및 목표

• 이중 팔을 가진 모바일 매니퓰레이터를 위한 협력적 전체 몸체 원격조작을 동기부여하고 구현한다.
• 손 중심의 팔 조작과 함께 연속적인 기저 기동을 가능하게 하기 위해 발 컨트롤을 회복한다.
• 작업 관련 피드백을 렌더링한다 ( lidar 기반 페달 지침, 팔 힘 반사, 조작성 신호) 인지 부담과 충돌을 줄이기 위해.
• 피드백 신호를 확장된 ACT 정책에 통합하여 데이터 수집 및 학습 이점을 입증한다.

제안 방법

• lidar 구동 저항 피드백이 있는 기저 제어용 3-자유도 발 페달 도입.
• 중력 보상된 힘 반사를 갖춘 리더-팔로워 양팔로 접촉 인식을 활용한다.
• 도달 범위를 향상시키고 기저 재배치를 유도하기 위한 실시간 조작성 가이던스를 제공한다.
• 다중 센서 입력을 보정하고 융합하여 일관된 피드백을 위한 공유된 로봇 중심 프레임을 구축한다.
• 학습을 위한 토크 정보를 ACT 정책에 추가하여 Action Chunking을 확장한다.
• 실세계 작업과 시뮬레이션에서 평가하여 원격조작 성능과 학습 이점을 모두 보여준다.

Figure 2 : TriPilot-FF combines bimanual leader-follower arms with a pedal that commands the mobile base. The low-cost pedal has 3 DoF, and the design is shown on the left. An overview of the system is shown on the right. TriPilot-FF provides force feedback on both the operator-side leader arms and

실험 결과

연구 질문

• RQ1 팔 측 힘 반사와 lidar 기반 페달 큐가 협소하거나 복잡한 공간에서 협응을 함께 향상시키는가?
• RQ2 조작성 가이던스가 도달 제약된 회수에서 협응 부담과 완료 시간을 줄이는가?
• RQ3 팔 측 힘 반사가 기저 움직임과 조작에 의해 제약된 접촉 작업에서 효율성과 접촉 조절을 향상시키는가?
• RQ4 TriPilot-FF가 장기 실제 작업 시퀀스에서도 성능을 유지하는가?
• RQ5 ACT에 통합될 때 햅틱 신호가 모방 학습에 유용한 감독을 제공하는가?

주요 결과

• 페달 피드백과 lidar 저항은 BlindCarry의 성공률을 55%에서 100%로 크게 증가시키고 충돌을 제거한다.
• 조작성 가이던스는 GuidedReach에서 완료 시간을 단축하고 저가동성 구성에서의 소요 시간을 감소시킨다.
• 팔 측 힘 반사는 MobileSwipe와 같은 제약된 접촉 작업에서 접촉 안정성을 향상시키고 에너지 소모를 감소시킨다.
• 토크 확장 ACT 정책은 시뮬레이션 및 실제 작업에서 기준선보다 성능이 우수하며 성공률이 증가한다(예: CubeTransfer 22%에서 50%, CubePickPlace 28%에서 36%).
• 장기 원격조작은 실제 작업과 확장된 워크플로에 시스템의 실용적 통합 가능성을 보여준다.

Figure 3 : The potential $\phi$ produces an increasingly larger repulsive force as obstacles approach the robot.