[論文レビュー] Interactive Robot Training for Non-Markov Tasks

Ankit Shah, Wadhwania, Samir+1 more|arXiv (Cornell University)|Mar 4, 2020

Machine Learning and Algorithms参考文献 30被引用数 5

ひとこと要約

本稿では、人間のデモとロボット行動のリアルタイム評価の両方から非マルコフ的タスク仕様を学ぶベイジアンインタラクティブロボットトレーニングフレームワークを提案する。アクティブラーニングを用いて、最も不確実なタスク実行を問い合わせることで、デモのみまたはランダム問い合わせのベースラインと比較して、真値LTL仕様との類似度が向上し、シミュレーションおよび実世界のユーザースタディにおいて、86%の平均類似度でテーブルセッティングのタスクをロボットに教えることに成功した。

ABSTRACT

Defining sound and complete specifications for robots using formal languages is challenging, while learning formal specifications directly from demonstrations can lead to over-constrained task policies. In this paper, we propose a Bayesian interactive robot training framework that allows the robot to learn from both demonstrations provided by a teacher, and that teacher's assessments of the robot's task executions. We also present an active learning approach -- inspired by uncertainty sampling -- to identify the task execution with the most uncertain degree of acceptability. Through a simulated experiment, we demonstrate that our active learning approach identifies a teacher's intended task specification with an equivalent or greater similarity when compared to an approach that learns purely from demonstrations. Finally, we demonstrate the efficacy of our approach in a real-world setting through a user-study based on teaching a robot to set a dinner table.

研究の動機と目的

• 形式的言語（例：LTL）を用いた複雑で時間的に構造化されたロボットタスクを指定する課題に取り組むこと。非専門家が直接的にそれを作成するのは困難である。
• ロボット行動に関する人間のフィードバックを統合することで、デモのみから学習する場合に生じる過剰制約のポリシーを軽減すること。
• ロボットの最も不確実なタスク実行を特定し、問い合わせることで、LTL仕様に関する信念を効率的に精緻化するアクティブラーニング戦略を開発すること。
• 本フレームワークをシミュレーションおよび実世界のユーザースタディ（ロボットにテーブルセッティングを教える）を用いて検証すること。

提案手法

• タスク仕様を、教師の意図する仕様の不確実性を表現する線形時相論理（LTL）式の信念分布としてモデル化する。
• 教師によるデモと、ロボットが実行したタスクシーケンスの評価という、2つの教育モダリティを統合する。
• 不確実性サンプリングに基づくアクティブラーニング戦略が、人間評価に最適な、受容可能性のエントロピーが最大のロボット実行を選択する。
• 各人間評価の後、ベイジアン推論を用いて信念分布を更新し、仕様に関する不確実性を低減する。
• 事後分布からの最も可能性の高いLTL式を特定するために、最大事後確率（MAP）推定を用いる。
• 本アプローチは、実体験ロボットを用いたシミュレーションおよび実世界のユーザースタディで評価される。

実験結果

リサーチクエスチョン

• RQ1 デモとロボット行動の評価を組み合わせたインタラクティブラーニングフレームワークは、非マルコフ的タスクの仕様学習を改善できるか？
• RQ2 最も不確実なロボット実行をアクティブに問い合わせることで、デモのみからの受動的学習と比較して、真値タスク仕様への収束が速くかつ正確になるか？
• RQ3 アクティブラーニングアプローチは、複雑で時間的に構造化されたタスクを教える実世界の人間-ロボットインタラクションにおいて、どの程度効果的か？
• RQ4 実世界の設定において、ロボットの最終的な信念分布は真値LTL仕様とどの程度一致するか？

主な発見

• 実世界のユーザースタディにおいて、ロボットは最終的な信念と真値タスク仕様との間で平均類似度0.86（95%信頼区間[0.82, 0.92]）を達成した。
• タスク1では、最終信念と真値の中央類似度は0.87（95%信頼区間[0.73, 0.94]）であり、21名の参加者のうち14名が真の式を最も可能性の高いLTL式として回復した。
• タスク2では、中央類似度は0.78（95%信頼区間[0.59, 0.99]）であり、6名の参加者のうち2名が真の式を最も可能性の高い式として回復した。
• タスク1では4例、タスク2では2例で、事後信念と真値との差が1つの結合項にとどまり、仕様回復の高精度を示した。
• 全参加者がテスト実行中にエラーを起こさずに、割り当てられたタスクを正しく実行できた。これは、ロバストネスと実用的妥当性を示している。
• シミュレーションにおいて、アクティブラーニングアプローチは、バッチ（デモのみ）およびランダム問い合わせベースラインを上回り、多様なタスク仕様において真値との類似度が高かった。