[論文レビュー] The EMPATHIC Framework for Task Learning from Implicit Human Feedback

Yuchen Cui, Qiping Zhang+4 more|arXiv (Cornell University)|Sep 28, 2020

Social Robot Interaction and HRI被引用数 1

ひとこと要約

本論文では、顔の反応などの明示的でない人間のフィードバックからタスク方策を学ぶ二段階フレームワークであるEMPATHICを提案する。明示的な人間の指示を必要とせず、顔の表情から報酬やアドバンテージなどのタスク統計に至る深層ニューラルネットワークの学習により、リアルタイムでの方策改善と新しい操作タスクへのゼロショット転送を可能にし、自然で不顕在な人間の反応からの有効な学習を示している。

ABSTRACT

Reactions such as gestures, facial expressions, and vocalizations are an abundant, naturally occurring channel of information that humans provide during interactions. A robot or other agent could leverage an understanding of such implicit human feedback to improve its task performance at no cost to the human. This approach contrasts with common agent teaching methods based on demonstrations, critiques, or other guidance that need to be attentively and intentionally provided. In this paper, we first define the general problem of learning from implicit human feedback and then propose to address this problem through a novel data-driven framework, EMPATHIC. This two-stage method consists of (1) mapping implicit human feedback to relevant task statistics such as reward, optimality, and advantage; and (2) using such a mapping to learn a task. We instantiate the first stage and three second-stage evaluations of the learned mapping. To do so, we collect a dataset of human facial reactions while participants observe an agent execute a sub-optimal policy for a prescribed training task. We train a deep neural network on this data and demonstrate its ability to (1) infer relative reward ranking of events in the training task from prerecorded human facial reactions; (2) improve the policy of an agent in the training task using live human facial reactions; and (3) transfer to a novel domain in which it evaluates robot manipulation trajectories.

研究の動機と目的

• タスク実行中に顔の表情、ジェスチャー、発話などの暗黙的な人間のフィードバックから学べるエージェントの実現に向けた課題に対処すること。
• デモンストレーションや批判などの意図的な教示信号を必要としないため、人間の認知的負担を軽減すること。
• 報酬、最適性、アドバンテージなどのタスク関連統計に自然な人間の反応をマッピングするデータ駆動型フレームワークの開発。
• リアルタイムでの方策学習において生の顔のフィードバックを用い、未確認の操作タスクへのゼロショット転送を評価すること。
• 明示的な人間のラベル付けなしに、暗黙のフィードバックがエージェントのパフォーマンス向上に信頼性を持って活用可能であることを示すこと。

提案手法

• 被験者が訓練タスクで非最適な方策を実行するのを観察している際の、人間の顔の反応のデータセットを収集する。
• 顔の反応シーケンスを相対的報酬順位、最適性、アドバンテージなどのタスク統計にマッピングする深層ニューラルネットワークを学習する。
• 訓練済みマッピングを二段階フレームワークで使用する：第一に、顔のフィードバックからタスク統計を推定する。第二に、推定された統計を用いてエージェントの方策を改善する。
• 実行中に生の顔のフィードバックを用いてエージェントの方策を更新することで、リアルタイムでのフレームワーク適用を実現する。
• 顔の反応から推定される報酬に基づいて軌道をランク付けできる能力を評価することで、学習済みマッピングを新規ドメイン（ロボット操作）に転送する。
• 顔のフィードバックデータセットを用いた教師あり学習によりマッピングネットワークを学習し、タスク統計の順位付けと回帰に最適化された損失関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 顔の表情のような暗黙的な人間のフィードバックを、報酬やアドバンテージのようなタスク関連統計に信頼性を持ってマッピングできるか？
• RQ2 顔のフィードバックから学習したマッピングが、タスク実行中のリアルタイムなエージェント方策改善に寄与できるか？
• RQ3 学習済みマッピングは、ロボット操作のような新しい未確認のタスクドメインに一般化可能か？
• RQ4 顔の反応から推定される報酬順位と真のタスクパフォーマンスとの相関はどの程度高いか？
• RQ5 明示的なデモンストレーションや批判なしに、暗黙のフィードバックのみで効果的な方策学習が可能か、その程度はどの程度か？

主な発見

• 深層ニューラルネットワークは、事前に記録された顔の反応から、タスクイベントの相対的報酬順位を高い正確性で推定できた。
• EMPATHEICフレームワークにより、生の人の顔のフィードバックを用いたリアルタイムでの方策改善が可能となり、ベースライン方策と比較して明確なパフォーマンス向上が得られた。
• フレームワークは、顔のフィードバックを用いて認識された品質に基づいて軌道をランク付けできる能力を示し、新規のロボット操作タスクへのゼロショット転送を達成した。
• 顔の表情からタスク統計へのマッピングは、異なるタスク間で一般化可能であり、学習済み表現の強靭さと転送可能性を示している。
• フィードバックが疎で明示的でない状況下でも、方策学習における顕著なパフォーマンス向上が達成されたことから、暗黙のフィードバックが人間-ロボットインタラクションにおける有効な代替手段である可能性が示された。
• 結果から、暗黙のフィードバックがインタラクティブな学習シナリオにおいて、明示的な教示信号の代替として実用的かつ効果的であることが示された。