[論文レビュー] TriPilot-FF: Coordinated Whole-Body Teleoperation with Force Feedback

Zihao Li, Yanan Zhou+4 more|arXiv (Cornell University)|Feb 10, 2026

Teleoperation and Haptic Systems被引用数 0

ひとこと要約

TriPilot-FF は、リーダー-フォロワー型の両手操作テレオペレーションと連携した、リニア駆動の力覚フィードバックを備えた足操作ペダルを導入し、モバイルマニピュレータの全身制御を向上させ、到達性、衝突回避、長期的タスクの性能を改善し、トルク強化ポリシー学習を実現する。

ABSTRACT

Mobile manipulators broaden the operational envelope for robot manipulation. However, the whole-body teleoperation of such robots remains a problem: operators must coordinate a wheeled base and two arms while reasoning about obstacles and contact. Existing interfaces are predominantly hand-centric (e.g., VR controllers and joysticks), leaving foot-operated channels underexplored for continuous base control. We present TriPilot-FF, an open-source whole-body teleoperation system for a custom bimanual mobile manipulator that introduces a foot-operated pedal with lidar-driven pedal haptics, coupled with upper-body bimanual leader-follower teleoperation. Using only a low-cost base-mounted lidar, TriPilot-FF renders a resistive pedal cue from proximity-to-obstacle signals in the commanded direction, shaping operator commands toward collision-averse behaviour without an explicit collision-avoidance controller. The system also supports arm-side force reflection for contact awareness and provides real-time force and visual guidance of bimanual manipulability to prompt mobile base repositioning, thereby improving reach. We demonstrate the capability of TriPilot-FF to effectively ``co-pilot'' the human operator over long time-horizons and tasks requiring precise mobile base movement and coordination. Finally, we incorporate teleoperation feedback signals into an Action Chunking with Transformers (ACT) policy and demonstrate improved performance when the additional information is available. We release the pedal device design, full software stack, and conduct extensive real-world evaluations on a bimanual wheeled platform. The project page of TriPilot-FF is http://bit.ly/46H3ZJT.

研究の動機と目的

• バイマン機のモバイルマニピュレータに対して、協調的な全身テレオペレーションを動機づけ、実現する。
• 脚部操作を取り戻し、手中心のアーム操作に加えて継続的な基底機動を提供する。
• タスクに関連するフィードバック（LiDARベースのペダル案内、アーム力反映、操作可能性の手掛かり）を提示し、認知負荷と衝突を低減する。
• フィードバック信号を拡張 ACT ポリシーへ統合することでデータ収集と学習の利点を示す。

提案手法

• 基底制御用の 3-DoF 足ペダルを LiDAR 駆動の抵抗フィードバック付きで導入する。
• 重力補償された力反映を用いたリーダー-フォロワー型の両手アームで接触認識を図る。
• 基底の再配置を促し到達を改善するための実時間操作可能性案内を提供する。
• 一貫したフィードバックのために多 sensor 入力を較正・融合し共有ロボット中心フレームを構築する。
• 動作ブロック（Action Chunking）をトランスフォーマー（ACT）ポリシーにトルク情報で拡張して学習を促進する。
• 実世界タスクとシミュレーションの両方で、テレオペレーションの性能と学習効果を評価する。

Figure 2 : TriPilot-FF combines bimanual leader-follower arms with a pedal that commands the mobile base. The low-cost pedal has 3 DoF, and the design is shown on the left. An overview of the system is shown on the right. TriPilot-FF provides force feedback on both the operator-side leader arms and

実験結果

リサーチクエスチョン

• RQ1 アーム側の力反映と LiDAR 駆動ペダルの手掛かりは、狭所や障害物の多い環境で協調性を jointly 改善するか？
• RQ2 manipulability ガイダンスは到達制限のある回収タスクの協調負荷と完遂時間を低減するか？
• RQ3 アーム側の力反映は、基底移動と操作を伴う制約された接触タスクで効率と接触制御を改善するか？
• RQ4 TriPilot-FF は長期的な現実世界のタスク列にわたって性能を維持できるか？
• RQ5 ACT に統合された触覚信号は模倣学習の監視に有用な指示を提供するか？

主な発見

Task	S (%)	N_coll	T (s)
BlindCarry TriPilot-FF	100.0	0.0	131.34
BlindCarry w/o Pedal Feedback	55.0	1.0	150.08
NarrowTransport TriPilot-FF	100.0	0.0	16.32
NarrowTransport w/o Pedal Feedback	75.0	0.3	48.36

• ペダルフィードバックと LiDAR 抵抗は、BlindCarry の成功率を 55% から 100% に大幅に向上させ、衝突を排除する。
• manipulability ガイダンスは GuidedReach で完遂時間を短縮し、低機動性構成での時間を低減する。
• アーム側の力反映は MobileSwipe のような制約接触タスクで接触安定性を向上させ、エネルギー消費を削減する。
• トルクを強化した ACT ポリシーは、シミュレーションと現実世界タスクの両方でベースラインを上回り、成功率を向上させる（例：CubeTransfer 22%→50%、CubePickPlace 28%→36%）。
• 長期的なテレオペレーションは、現実世界タスクを含む拡張ワークフローへシステムを統合する実現可能性を示す。

Figure 3 : The potential $\phi$ produces an increasingly larger repulsive force as obstacles approach the robot.