[論文レビュー] The Helping Hand: An Assistive Manipulation Framework Using Augmented Reality and a Tongue-Drive Interfaces

Fu-Jen Chu, Ruinian Xu+3 more|arXiv (Cornell University)|Feb 1, 2018

Gaze Tracking and Assistive Technology参考文献 26被引用数 4

ひとこと要約

本論文は、7自由度のロボットアームを手を使わずに制御するための、人間が関与する支援的操縦フレームワークを提示する。拡張現実（AR）グラスと舌駆動システム（TDS）を統合し、ロボットの機能を動的にメニュー化して表示することで、ユーザーの認知的負荷を軽減し、タスク完了時間を短縮する。平均でピックアップが18.3秒、ピックアンドプレースが32.7秒で達成され、10種類の多様な物体に対して78%の成功率を達成。直行座標制御や最先端の手法と比較して、速度とスケーラビリティの面で優れている。

ABSTRACT

A human-in-the-loop system is proposed to enable collaborative manipulation tasks for person with physical disabilities. Studies show that the cognitive burden of subject reduces with increased autonomy of assistive system. Our framework obtains high-level intent from the user to specify manipulation tasks. The system processes sensor input to interpret the user's environment. Augmented reality glasses provide ego-centric visual feedback of the interpretation and summarize robot affordances on a menu. A tongue drive system serves as the input modality for triggering a robotic arm to execute the tasks. Assistance experiments compare the system to Cartesian control and to state-of-the-art approaches. Our system achieves competitive results with faster completion time by simplifying manipulation tasks.

研究の動機と目的

• 高レベル麻痺を抱える人々が支援的ロボットアームを制御する際の認知的負担を軽減すること。
• 舌駆動システム（TDS）を用いて、手を使わず直感的にロボットアームを制御できるようにすること。
• ユーザーのインタラクションを、アクション可能なロボットの機能を表示するエゴセントリックな拡張現実（AR）フィードバックによって向上させること。
• 低レベルの操作計画を自動化することでタスク効率を向上させつつ、高レベルでのユーザーの意図を保持すること。
• 直行座標制御や既存の支援的システムと比較して、速度とスケーラビリティの面で優れた性能を示すこと。

提案手法

• ARグラスに内蔵されたRGB-Dカメラが、リアルタイムのシーンデータを取得し、物体検出と3次元バウンディングボックスの生成を行う。
• コンピュータビジョンアルゴリズムが操作可能な物体を検出し、把持ポーズを推定し、その情報をARインターフェース内の仮想メニューにマッピングする。
• 舌ドライブシステム（TDS）が、舌の動きを離散的なコマンドに変換し、ARメニューからアクションを選択する。
• 7自由度のロボットアームが、検出された物体の位置と把持設定に基づいた事前計画された経路に従って、選択されたタスクを自律的に実行する。
• 現代のロボット計画法とビジョン技術を統合することで、最小限のユーザー入力でリアルタイムかつ文脈に適応した操作を可能にする。
• ARインターフェースが継続的かつエゴセントリックな視覚フィードバックを提供し、外部モニタへの依存を減らし、ユーザーの集中力を高める。

実験結果

リサーチクエスチョン

• RQ1 TDSベースのインターフェースは、高レベル麻痺を抱える人々が支援的ロボットアームを制御する際の認知的負荷を軽減できるか？
• RQ2 ARベースの視覚フィードバックは、支援的操縦におけるタスクパフォーマンスとユーザーの関与度をどのように向上させるか？
• RQ3 高レベルの意図選択と低レベル制御の間で、タスク完了時間と成功率のトレードオフはどのように変化するか？
• RQ4 本手法は、直行座標制御や最先端の支援的システムと比較して、速度とスケーラビリティの面で優れているか？
• RQ5 ビジョンベースの物体検出と自律的経路計画の統合により、必要なユーザーのコマンド数を著しく削減できるか？

主な発見

• 10種類の多様な物体に対して、ピックアップタスクで78%、ピックアンドプレースタスクで76%の成功率を達成し、ピックアップの平均完了時間は18.3秒、ピックアンドプレースは32.7秒であった。
• 手動による直行座標制御（96%の成功率）と比較して、タスク完了が5倍速く、著しく短縮された。
• ユーザーのコマンド数は1タスクあたり平均9.4回にまで削減され、低レベル制御と比較して認知的負荷が著しく低下した。
• EEGや眼球追跡を用いた先行研究と比較して、本手法は同等またはより高い成功率を達成したが、タスク時間は著しく短縮された（例：3物体の類似研究で92秒対32.7秒）。
• [9]と比較して、ピックアップの速度（18.11秒対70.1秒）と物体の多様性の両面で優れており、わずかに低い成功率であったが、全体的な性能が優れた。
• ARとTDSの統合により、シームレスで手を使わない操作が可能になり、ユーザーの集中力が向上し、外部監視の必要性が低減された。