[論文レビュー] User Experience of the CoSTAR System for Instruction of Collaborative Robots

Chris Paxton, Felix Jonathan+3 more|arXiv (Cornell University)|Mar 23, 2017

Robot Manipulation and Learning参考文献 18被引用数 8

ひとこと要約

本論文は、CoSTARシステムの評価を行う。CoSTARは、認識、計画、推論を統合した行動ツリーに基づくインターフェースであり、初心者が共同ロボットのタスク計画を記述できるようにする。結果として、スマートムーブなどの高度な機能が利用可能になると、ユーザーはより速く、より効果的かつ一般化しやすい計画を生成したが、メンタルモデルの不一致や混乱を引き起こすUI要素のため、使いやすさの課題が残った。

ABSTRACT

How can we enable novice users to create effective task plans for collaborative robots? Must there be a tradeoff between generalizability and ease of use? To answer these questions, we conducted a user study with the CoSTAR system, which integrates perception and reasoning into a Behavior Tree-based task plan editor. In our study, we ask novice users to perform simple pick-and-place assembly tasks under varying perception and planning capabilities. Our study shows that users found Behavior Trees to be an effective way of specifying task plans. Furthermore, users were also able to more quickly, effectively, and generally author task plans with the addition of CoSTAR's planning, perception, and reasoning capabilities. Despite these improvements, concepts associated with these capabilities were rated by users as less usable, and our results suggest a direction for further refinement.

研究の動機と目的

• 初心者がCoSTARシステムの統合された認識、計画、推論機能を用いて、共同ロボットのタスク計画を効果的に作成できるかどうかを評価すること。
• 非専門家ユーザーが共同ロボティクス分野において行動ツリーをインターフェースとして用いる際の使いやすさと有効性を調査すること。
• メンタルモデルの一致やインターフェースの明確さの面で、ロボットプログラミングインターフェースにおける使いやすさの障壁を同定すること。
• システム機能のレベルを変化させた際のユーザー体験を分析することで、将来のユーザーフレンドリーなロボットプログラミングシステムの設計を支援すること。

提案手法

• CoSTARシステムは、ロボットのタスク計画を指定するための視覚的プログラミングインターフェースとして、行動ツリーを用いる。これにより、原子的および複合的な操作の階層的構成が可能となる。
• システムは、RGBDセンサーによる認識、運動計画、およびSmartMoveクエリを介した抽象的推論を統合しており、世界状態に応じた条件付きタスク実行を可能にしている。
• 被験者間のユーザー研究により、4つの条件（ベースライン：計画・認識なし、計画：障害物回避あり、認識：センシングのみ、SmartMove：統合済み）を比較した。
• 参加者は各条件下で簡単なピックアンドプレースの組立タスクを実行し、タスクの成功、所要時間、計画の複雑さを測定した。
• パイロットスタディのフィードバックに基づき、UI要素を段階的に改善した。たとえば、「Reference」を「in coordinate frame」に名称変更することで、明確性を向上させた。
• データ収集は、タスク実行指標、事後アンケート、および半構造化インタビューを用い、使いやすさ、メンタルモデルの正確性、ユーザー満足度を評価した。

実験結果

リサーチクエスチョン

• RQ1 行動ツリーインターフェースは、初心者が共同ロボットのタスク計画を記述するのに対して、どの程度有効であるか？
• RQ2 CoSTARにおける認識、計画、推論機能の有無が、タスク完了時間、成功確率、計画の一般化可能性にどのように影響するか？
• RQ3 初心者が高度なロボットプログラミングインターフェースと対話する際、特にメンタルモデルの一致の面で、どのような使いやすさの課題に直面するか？
• RQ4 インターフェース設計の選択（例：SmartMoveクエリ構造）が、ユーザーの理解度およびタスクパフォーマンスにどの程度影響を及えるか？

主な発見

• 初心者のユーザーは、行動ツリーを、タスク計画を指定する有効で実用的な方法として評価しており、コアインターフェースの使いやすさ評価が高かった。
• 認識、計画、SmartMove機能の追加により、ベースライン条件と比較して、タスク完了時間の短縮、成功確率の向上、計画の一般化可能性の向上が顕著に見られた。
• 全体的な改善にもかかわらず、ユーザーはSmartMoveクエリの理解と正しく使用することが困難で、特に名前が不明瞭で、条件入力が複雑なため、混乱やエラーが生じた。
• 最も効果的で読みやすいタスク計画は、SmartMove条件で生成されたもので、簡潔で信頼性が高く再利用可能なツリーが得られた。
• ユーザーは、再利用可能性についての理解が不十分なため、頻繁に既存のツリーを削除してから再作成していた。これは、ツリーの永続性と可視化機能の向上の必要性を示している。
• 参加者らは、RGBDセンサーからの視覚フィードバック（たとえば、座標フレームの可視化）が、認識機能がオフの条件でも役立つと報告しており、リアルタイムの空間フィードバックの価値を示している。