[論文レビュー] Autonomy Infused Teleoperation with Application to BCI Manipulation

Katharina Muelling, Arun Venkatraman+8 more|arXiv (Cornell University)|Mar 18, 2015

EEG and Brain-Computer Interfaces参考文献 41被引用数 18

ひとこと要約

本論文は、コンピュータビジョン、ユーザーの意図推定、および人間の入力と自律制御の間の適応的仲裁を統合した共有制御遠隔操作フレームワークを提案する。捕獲エナベループ（capture envelopes）を用いた把持推定と調整可能な支援レベルにより、皮質内BCIユーザーが高精度でごみが多く、かつ新しい物体が存在する状況下でも、タスクの成功確率を著しく向上させるとともに、ユーザーの負荷を低減する。

ABSTRACT

Robot teleoperation systems face a common set of challenges including latency, low-dimensional user commands, and asymmetric control inputs. User control with Brain-Computer Interfaces (BCIs) exacerbates these problems through especially noisy and erratic low-dimensional motion commands due to the difficulty in decoding neural activity. We introduce a general framework to address these challenges through a combination of computer vision, user intent inference, and arbitration between the human input and autonomous control schemes. Adjustable levels of assistance allow the system to balance the operator's capabilities and feelings of comfort and control while compensating for a task's difficulty. We present experimental results demonstrating significant performance improvement using the shared-control assistance framework on adapted rehabilitation benchmarks with two subjects implanted with intracortical brain-computer interfaces controlling a seven degree-of-freedom robotic manipulator as a prosthetic. Our results further indicate that shared assistance mitigates perceived user difficulty and even enables successful performance on previously infeasible tasks. We showcase the extensibility of our architecture with applications to quality-of-life tasks such as opening a door, pouring liquids from containers, and manipulation with novel objects in densely cluttered environments.

研究の動機と目的

• BCI制御のロボット操作における低帯域幅でノイズが多く、不安定な神経指令の課題に対処すること。
• 高精度な遠隔操作タスクにおけるユーザーの作業負荷とタスクの難易度の認識を低減すること。
• 知的で自律的な支援の導入により、従来不可能であったタスクの成功を可能にすること。
• 液体の注ぎ替えやドアの開閉といった、現実世界の生活品質向上タスクへの適用を拡張すること。
• 事前のモデル知識が不要な新規オブジェクトの操作を可能にする柔軟で拡張可能なアーキテクチャの開発。

提案手法

• 3Dモデルライブラリを用いて、リアルタイムで物体を認識・局所化するため、RANSACおよびICPを用いた深度画像テンプレートマッチングを採用。
• 「捕獲エナベループ（capture envelopes）」— 動的でオブジェクトおよび把持に特化した注目領域—を導入し、低次元のユーザーの運動指令から、連続的かつ滑らかな把持意図推定を実現。
• ユーザーの意図は、運動軌跡と環境的文脈に基づき、最も可能性の高い目的を推定する最大エントロピー定式化を用いて推定される。
• 人間とロボットの仲裁モジュールは、調整可能な支援レベルを用いてユーザー指令と自律的運動計画をブレンドし、制御性と快適性のバランスをとる。
• 手首に取り付けた力・トルクセンサを用いたジョイントストール検出とジャコビアン転置制御により、コンプライアンス制御を実現し、安全な環境相互作用を可能にする。
• 新規オブジェクトへの拡張は、スーパーボクセルセグメンテーションと簡略化されたハンドモデルの前方シミュレーションを用いて、実現可能な把持点を検出することで達成される。

実験結果

リサーチクエスチョン

• RQ1 共有制御フレームワークは、BCI制御のロボット操作におけるタスクパフォーマンスの向上とユーザー負荷の低減に有効であるか？
• RQ2 調整可能な支援レベルは、ユーザーの制御感覚とタスクの難易度の認識にどのように影響するか？
• RQ3 低次元のBCI入力のみで、液体の注ぎ替えやドアの開閉といった複雑な現実世界タスクを、システムが成功裏に処理できるか？
• RQ4 事前に3Dモデルがない新規でモデル化されていないオブジェクトに対して、システムの一般化能力はどの程度達成できるか？
• RQ5 コンピュータビジョンと意図推定を統合することで、ごみが多く動的な環境下でのBCI遠隔操作のロバスト性はどの程度向上するか？

主な発見

• 共有制御フレームワークにより、2名の皮質内BCIユーザーが、従来の直接遠隔操作では不可能であったタスクを成功裏に完了した。
• 液体の注ぎ替えタスクでは、10回の試行すべてで100%の成功率を達成し、失敗したのは1回のみで、物体をテーブルに戻せなかった。
• システムはユーザーが認識するタスクの難易度を著しく低減し、認知的負荷を減らして高精度タスクを実行可能にした。
• 捕獲エナベループの使用により、固定しきい値法と比較して、把持推定の正確性と滑らかさが向上した。
• モデルフリーの認識と把持検出を用いて、密集したごみの中の新規オブジェクトに対しても、アーキテクチャが成功裏に拡張可能であった。これは、モーションコントローラーを用いた概念実証として検証された。
• BCI入力と自律的支援の統合により、ドアの開閉や液体の注ぎ替えといった複雑な現実世界シナリオでの信頼性ある操作が可能になった。