[論文レビュー] Learning under Misspecified Objective Spaces

Andreea Bobu, Andrea Bajcsy+2 more|arXiv (Cornell University)|Oct 11, 2018

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本論文では、ロボットがタスク実行中の物理的人間の是正の関連性をリアルタイムで評価する手法を提案している。これは、人間の意図がロボットの仮説空間の外にある場合の誤った学習を回避することを目的としている。是正が既知の目的と整合するかを評価することで、ロボットは慎重に学習する——ユーザースタディーでは、不適切な更新が減少し、レグレットも低減しているが、関連する是正に対するパフォーマンスは維持されている。

ABSTRACT

Learning robot objective functions from human input has become increasingly important, but state-of-the-art techniques assume that the human's desired objective lies within the robot's hypothesis space. When this is not true, even methods that keep track of uncertainty over the objective fail because they reason about which hypothesis might be correct, and not whether any of the hypotheses are correct. We focus specifically on learning from physical human corrections during the robot's task execution, where not having a rich enough hypothesis space leads to the robot updating its objective in ways that the person did not actually intend. We observe that such corrections appear irrelevant to the robot, because they are not the best way of achieving any of the candidate objectives. Instead of naively trusting and learning from every human interaction, we propose robots learn conservatively by reasoning in real time about how relevant the human's correction is for the robot's hypothesis space. We test our inference method in an experiment with human interaction data, and demonstrate that this alleviates unintended learning in an in-person user study with a 7DoF robot manipulator.

研究の動機と目的

• ロボットの報酬学習におけるモデル不適合問題に対処すること。これは、人間の好みがロボットの事前定義された仮説空間の外にある場合を指す。
• ロボットの目的空間が不完全または不適合である場合に、物理的人間の是正から誤った学習を回避すること。
• ロボットがリアルタイムで是正の関連性を推論し、有用な行動と無関係な人間のインタラクションを区別できること。
• ロボットが現在のタスク理解に基づいて、人間の是正が合理的かどうかを検出することで、人間-ロボット協働の整合性を向上させること。
• 関連する是正に対するパフォーマンスを維持しながら、無関係または誤解された入力への過剰適合を回避すること。

提案手法

• ロボットはベイジアン推論フレームワークを用いて、現在の仮説空間内の目的に基づいて、人間の是正が合理的かどうかを評価する。
• 是正の関連性は、状態の観察された変化が既知の目的を通じてより効率的に達成可能かどうかをチェックすることで評価され、最小労力原理に基づく合理性スコアが用いられる。
• 本手法は関連性スコア $ r \in \{0,1\} $ を計算する。ここで $ r=1 $ は是正が既知の目的と整合しており、情報的であることを示す。
• ロボットは、是正が関連性があると判断された場合にのみ、目的関数を更新する。これにより、いかなる既知の目的とも整合しない行動からの学習を回避する。
• 本手法は、状態特徴上の線形報酬関数とインピーダンスコントローラーを用いたオンラインでリアルタイムな軌道再計画に統合される。
• 本手法は、常に是正に対して更新を行うベースラインと比較して、人間のインタラクションデータを用いたロボットアームを用いて評価されている。

実験結果

リサーチクエスチョン

• RQ1 ロボットは、物理的人間の是正が現在の仮説空間の目的とは無関係である場合にそれを検出できるか？
• RQ2 是正の関連性に基づく慎重な学習は、人間-ロボット協働におけるレグレットと誤った学習にどのように影響するか？
• RQ3 本手法は、標準的な学習アプローチと比較して、是正が関連するタスクにおいてパフォーマンスを維持できるか？
• RQ4 ユーザーは、本手法が誤った学習を減少させることをどの程度認識しているか？
• RQ5 リアルタイムでの合理性評価は、目的空間が不適合である状況下で、人間の意図とロボット行動の整合性を向上させられるか？

主な発見

• 無関係な是正が含まれるタスクにおいて、本手法はベースラインと比較して顕著にレグレットを低減した（p = 0.001）。これは、誤った学習が減少したことを示している。
• 関連する是正が含まれるタスクにおいて、本手法とベースラインとの間でレグレットに有意差は認められなかった（p = 0.9991）。これは、パフォーマンスの低下がないことを示している。
• 学習された重み更新のパス長（$ \hat{\theta} $）は、本手法で顕著に短縮された。これは、より安定的かつ効率的な学習を示している。
• 参加者たちは、本手法が誤った学習を減少させることを顕著に好んだ（F(1,7) = 9.15, p = 0.0046）。タスク完了時間や理解度に有意差は認められなかった。
• 主観的アンケート結果から、ユーザーはロボットが自分の意図をよりよく理解しており、すでに正しい部分への誤った更新が少ないと考えた。
• 本手法は、人間が自分から離れるように意図しているにもかかわらず、ロボットが机に近づくように学習してしまうという深刻な不整合を効果的に回避した。