[論文レビュー] Open-TeleVision: Teleoperation with Immersive Active Visual Feedback

Xuxin Cheng, Jialong Li+3 more|arXiv (Cornell University)|Jul 1, 2024

Multimedia Communication and Technology被引用数 4

ひとこと要約

Open-TeleVision は、VR を用いた手首および頭部の追跡とアクティブステレオビジョンを組み合わせた没入型遠隔操作システムを導入し、正確で長時間にわたる操作を可能にする人間型ロボットの直感的で遠隔操作を実現する。本システムは、リアルタイムのステレオ視覚的エゴセントリック3次元視覚フィードバックをストリーミングすることで、静的または単眼視覚よりも優れた忠実度の模倣学習を達成し、タスクの成功確率と推論速度を向上させる。

ABSTRACT

Teleoperation serves as a powerful method for collecting on-robot data essential for robot learning from demonstrations. The intuitiveness and ease of use of the teleoperation system are crucial for ensuring high-quality, diverse, and scalable data. To achieve this, we propose an immersive teleoperation system Open-TeleVision that allows operators to actively perceive the robot's surroundings in a stereoscopic manner. Additionally, the system mirrors the operator's arm and hand movements on the robot, creating an immersive experience as if the operator's mind is transmitted to a robot embodiment. We validate the effectiveness of our system by collecting data and training imitation learning policies on four long-horizon, precise tasks (Can Sorting, Can Insertion, Folding, and Unloading) for 2 different humanoid robots and deploy them in the real world. The system is open-sourced at: https://robot-tv.github.io/

研究の動機と目的

• 人間型ロボットの多指ハンドを対象としたスケーラブルで直感的な遠隔操作システムの開発。
• 従来の遠隔操作における遮蔽と空間認識の欠如を解消するため、操作者の頭部運動を模倣するアクティブなヘッドマウントステレオカメラの統合。
• 遠隔操作中に没入的で第一人称のステレオ視覚フィードバックを提供することで、模倣学習に適した高品質なデータ収集を可能にする。
• 2種類の異なる人間型ロボットを用いて、多様で長時間にわたる操作タスクにおいて本システムの有効性を実証する。
• 大陸を横断する遠隔操作を実現する低遅延、リアルタイムの視覚的および運動フィードバックを提供する。

提案手法

• 本システムは、VR トラッキングを用いて演者の手、頭、手首のポーズを SE(3) 空間で捉え、モーションリターゲティングによりロボットの関節位置にマッピングする。
• ロボットの頭部に取り付けられたステレオRGBカメラを備えた駆動式ネックが、演者の頭部の動きと同期して移動し、リアルタイムのエゴセントリック3次元視覚フィードバックを提供する。
• 480x640 解像度のステレオ動画ストリームが60 HzでVRヘッドセットに送信され、奥行き認識と空間認識が向上する。
• 本システムはネットワーク経由での遠隔操作をサポートしており、カリフォルニア大学サンディエゴ校とマサチューセッツ工科大学間での大陸を横断する遠隔操作が成功裏に実施された。
• 模倣学習ポリシーは、画像およびプロ prioception トークンを処理するアクションチャンクングTransformerアーキテクチャを用いて訓練される。
• 本システムはオープンソースであり、さまざまなVRデバイスおよび人間型ロボット（Unitree H1 や Fourier GR1 を含む）と互換性がある。

実験結果

リサーチクエスチョン

• RQ1 アクティブでステレオ、第一人称の視覚フィードバックは、遠隔操作における演者のパフォーマンスとタスク成功確率を向上させるか？
• RQ2 没入的でヘッドミラー視覚フィードバックは、繊細な操作における空間認識を向上させ、遮蔽を軽減するか？
• RQ3 Open-TeleVision を用いて収集された遠隔操作データは、多様なタスクにおいて強固で長時間にわたる模倣学習ポリシーの学習を可能にするか？
• RQ4 タスクパフォーマンスと制御の滑らかさの観点から、ステレオビジョンは単眼または静止カメラビューに比べて優れているか？
• RQ5 リアルタイムの視覚的および運動フィードバックを用いた遠隔低遅延操作は、どの程度実現可能か？

主な発見

• ユーザー実験において、ステレオビデオを用いた場合、単眼または静止ビューと比較して、より高いタスク成功確率と短い完了時間が達成された。
• 演者は、アクティブでヘッドミラーのステレオビジョンを用いた場合、空間認識とタスクへの集中力が顕著に向上したと報告した。
• Open-TeleVision データを用いて訓練された模倣学習ポリシーは、順次カンの挿入や折りたたみなどの長時間にわたるタスクを正常に実行できた。
• ステレオ画像入力を用いることで、ポリシーのパフォーマンスが向上し、複雑な環境下でもより正確で安定した操作が可能になった。
• 本システムは、米国本土を横断する範囲でリアルタイムかつ低遅延の遠隔操作を実現し、スケーラビリティとネットワークの耐障害性を実証した。
• 本システムは、柔軟性、遠隔操作能力、多指ハンド操作のサポートの観点で、先行する遠隔操作フレームワークを上回った。