[論文レビュー] Telepresence Interaction by Touching Live Video Images

Yunde Jia, Bin Xu+5 more|arXiv (Cornell University)|Dec 14, 2015

Teleoperation and Haptic Systems参考文献 63被引用数 5

ひとこと要約

本論文は、タブレットのスクリーン上でリアルタイム映像をタッチすることで、遠隔地のユーザーがテレプレゼンスロボットを操作し、現実世界の物体と直接対話できるタッチスクリーンベースのインターフェース（TIUI）を用いた、テレプレゼンスインタラクションフレームワークを紹介する。このシステムは、リアルタイムの映像フィードと無線接続を活用し、タッチジェスチャーを用いてドアを開ける、車椅子を押すといった物理的対象の操作を直感的かつ自然に行える。日常生活のタスクにおける効果的で直感的な遠隔対話が実現された。

ABSTRACT

This paper presents a telepresence interaction framework based on touchscreen and telepresence-robot technologies. The core of the framework is a new user interface, Touchable live video Image based User Interface, called TIUI. The TIUI allows a remote operator to not just drive the telepresence robot but operate and interact with real objects by touching their live video images on a pad with finger touch gestures. We implemented a telepresence interaction system which is composed of a telepresence robot and tele-interactive objects located in a local space, the TIUI of a pad located in a remote space, and the wireless networks connecting the two spaces. Our system can be a perfect embodiment of a remote operator to do most of daily living tasks, such as opening a door, drawing a curtain, pushing a wheelchair, and other like tasks. The evaluation and demonstration results show the effectiveness and promising applications of our system.

研究の動機と目的

• ライブ映像上のタッチジェスチャーを用いて、物理的対象との直感的でリアルタイムの遠隔対話を行うこと。
• 従来のテレプレゼンスシステムがナビゲーションのみを許容するという制限を是正すること。
• タブレット上のタッチ入力を、遠隔環境におけるテレプレゼンスロボットの物理的動作にマッピングするユーザインターフェースの開発。
• タッチベースの対話が日常的で実用的なタスクにおいて、実現可能性と有効性を評価すること。

提案手法

• 本システムは、カメラを装備したテレプレゼンスロボットがライブ映像を遠隔のタブレットインターフェースにストリーミングする。
• 本研究で新規に開発した「タッチ可能なライブ映像画像ベースのユーザインターフェース（TIUI）」は、タブレット上の指のタッチジェスチャーをロボットの対応する動作にマッピングする。
• タップ、ドラッグ、ピンチといったタッチジェスチャーが、リアルタイムでロボットの移動および操作に変換される。
• 無線ネットワークを介して、ロボットのカメラからのライブ映像と遠隔デバイス上のタッチ入力を同期する。
• スクリーン上のタッチポイントとロボット環境内の物理的対象との空間的対応関係を推定することで、物体との対話が実現される。
• リアルタイムの映像処理とジェスチャー認識を統合することで、低遅延で応答性の高い対話が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ライブ映像フィード上のタッチジェスチャーは、物理的対象との対話のための直感的で正確なテレプレゼンスロボット制御を可能にするか？
• RQ2 本研究で提案するTIUIは、ナビゲーションのみをサポートする従来のテレプレゼンスインターフェースと比較して、ユーザー体験をどのように向上させるか？
• RQ3 ライブ映像とのタッチベース対話によって、遠隔操作タスクにおける正確さと応答性はどの程度達成できるか？
• RQ4 本システムは、ドアを開ける、車椅子を動かすといった一般的な日常生活タスクを効果的にサポートできるか？
• RQ5 2次元のタッチ入力と3次元の物理的環境との間の空間マッピングは、どのように処理されるか？

主な発見

• 本システムは、ライブ映像上のタッチジェスチャーのみを用いて、ドアを開ける、カーテンを引く、車椅子を押すといった日常的タスクを遠隔ユーザーが実行可能であることを確認した。
• ユーザーは、TIUIインターフェースを通じて物体と対話する際、高い直感性と低い認知的負荷を報告した。
• 低遅延の応答時間により、タッチベースの対話中にリアルタイムフィードバックが得られた。
• 実演では、明示的な空間キャリブレーションを必要とせずに、正確な物体操作が可能であることが確認された。
• 実用的状況において本フレームワークが有効であることが示され、遠隔支援やテレプレゼンスケア分野への応用可能性が強く示唆された。