[論文レビュー] On the Utility of Model Learning in HRI

Gokul Swamy, Jens Schulz+3 more|arXiv (Cornell University)|Jan 4, 2019

Reinforcement Learning in Robotics参考文献 28被引用数 11

ひとこと要約

本論文は、自律走行シミュレーションにおいてモデルフリー、ブラックボックス型モデルベース、およびToMベースの学習を比較することで、人間-ロボットインタラクション（HRI）におけるTheory of Mind（ToM）の有効性を調査している。正しい仮定のもとではToMが明確にサンプルの複雑さを低減し、分布シフト下でもブラックボックス手法を上回り、人間の行動変動にわたる一般化性能も優れているが、仮定が誤っている場合には性能が低下することが判明した。

ABSTRACT

Fundamental to robotics is the debate between model-based and model-free learning: should the robot build an explicit model of the world, or learn a policy directly? In the context of HRI, part of the world to be modeled is the human. One option is for the robot to treat the human as a black box and learn a policy for how they act directly. But it can also model the human as an agent, and rely on a "theory of mind" to guide or bias the learning (grey box). We contribute a characterization of the performance of these methods for an autonomous driving task under the optimistic case of having an ideal theory of mind, as well as under different scenarios in which the assumptions behind the robot's theory of mind for the human are wrong, as they inevitably will be in practice.

研究の動機と目的

• 理想的および不完全な仮定のもとでのHRIにおけるTheory of Mind（ToM）の性能優位性を評価すること。
• サンプルの複雑さとデータ効率の観点から、モデルフリー、ブラックボックス型モデルベース、およびToMベースの学習を比較すること。
• ToMの仮定が不正確になるにつれてモデル性能がどのように低下するかを分析すること。
• 人間行動における分布シフト下でのToMおよびブラックボックスモデルの一般化可能性を評価すること。
• HRIにおける予測精度、計画の非最適性、およびデータ収集の間のトレードオフを理解すること。

提案手法

• 著者らは、ロボットが人間ドライバーの存在下で安全に合流するのを学習する簡略化された自律走行タスクを設計した。
• 3つのパラダイムを実装した：モデルフリー（直接的ポリシー学習）、ブラックボックス型モデルベース（データから人間のポリシーを学習）、ToMベース（人間を未知パラメータを持つ報酬最適化エージェントとしてモデル化）。
• ToMは逆強化学習を用いて、観察された行動から人間の報酬関数を推定するように訓練された。
• ロボットは推定された人間モデルを用いて、人間の反応を予測する行動計画を実行した。
• ドライビングスタイル、反応時間、視界の変化を含む、さまざまな人間行動モデルの下で性能を評価した。
• 実験ではオンポリシーおよびオフポリシーのデータを用い、データ分布のシフトとモデルの一般化可能性に関するアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 完璧なToM仮定のもとで、ToMモデルを用いることでブラックボックス型およびモデルフリー手法に比べてどの程度性能が向上するか？
• RQ2 HRIにおけるモデルフリー、ブラックボックス型モデルベース、およびToMベースの学習の間で、サンプルの複雑さはどのように異なるか？
• RQ3 人間行動に関するToMの仮定が誤っている場合、性能はどの程度低下するか？
• RQ4 人間行動における分布シフト下で、ToMベースの手法はブラックボックス手法よりも一般化性能が優れているか？
• RQ5 十分なデータが存在するにもかかわらず、ブラックボックス型モデルベース学習が失敗する条件は何か？

主な発見

• 完璧なToM仮定のもとでは、ブラックボックス型モデルベース学習に比べてサンプルの複雑さが低減され、最小限のオンポリシー・データで高い性能が達成された。
• ブラックボックス型モデルベース学習は、ToMに比べて1桁多いデータを必要とし、データ分布がシフトした場合には一般化に失敗した。
• モデルフリー学習は、数桁多いデータを必要とし、競争力のある性能に到達できなかった。
• 人間の速度、攻撃性、可視性の変化といった分布シフト下でも、ToM手法はブラックボックス手法よりも一般化性能が優れていた。
• 誤った仮定であっても、構造的インダクティブバイアスのおかげで、一部の状況ではToMがブラックボックス手法を上回ったが、モデル誤差が増すにつれて性能は低下した。
• 本研究では、ToMの利点がデータ効率にとどまらず、特に人間同士のデータでの事前学習を組み合わせた場合に、分布シフトに対して高いロバスト性を示すことが明らかになった。