[論文レビュー] Face valuing: Training user interfaces with facial expressions and reinforcement learning

Vivek Veeriah, Patrick M. Pilarski+1 more|arXiv (Cornell University)|Jun 9, 2016

Emotion and Mood Recognition参考文献 19被引用数 21

ひとこと要約

本論文では、顔の表情からユーザーの好みを推定することで、明示的フィードバックへの依存を減らす強化学習手法「フェイスバリュイング」を提案する。顔の特徴を期待報酬にマッピングする価値関数を学習することで、グリップ選択タスクにおいてユーザーの好みに迅速に適応するエージェントが実現され、人為的補正の必要回数が顕著に削減された。これは、人間と機械の協働においてスケーラブルで認知的負荷が低い手法であることを示している。

ABSTRACT

An important application of interactive machine learning is extending or amplifying the cognitive and physical capabilities of a human. To accomplish this, machines need to learn about their human users' intentions and adapt to their preferences. In most current research, a user has conveyed preferences to a machine using explicit corrective or instructive feedback; explicit feedback imposes a cognitive load on the user and is expensive in terms of human effort. The primary objective of the current work is to demonstrate that a learning agent can reduce the amount of explicit feedback required for adapting to the user's preferences pertaining to a task by learning to perceive a value of its behavior from the human user, particularly from the user's facial expressions---we call this face valuing. We empirically evaluate face valuing on a grip selection task. Our preliminary results suggest that an agent can quickly adapt to a user's changing preferences with minimal explicit feedback by learning a value function that maps facial features extracted from a camera image to expected future reward. We believe that an agent learning to perceive a value from the body language of its human user is complementary to existing interactive machine learning approaches and will help in creating successful human-machine interactive applications.

研究の動機と目的

• 人間と機械の対話における明示的フィードバックの認知的負荷と作業負荷を軽減すること。
• 顔の表情などの暗黙的信号を通じてエージェントがユーザーの好みを学習できるようにすること。
• 再トレーニングを必要とせず、変化するユーザーの好みに適応できるスケーラブルでリアルタイムな手法を開発すること。
• 制御入力ではなく価値信号としての顔の表情を活用すること。
• 従来のインタラクティブ機械学習手法に、低負荷のフィードバックメカニズムを補完すること。

提案手法

• エージェントは時系列差分学習を用い、カメラ画像から抽出した顔の特徴を期待される将来報酬にマッピングする価値関数を学習する。
• 顔の特徴をリアルタイムで処理し、ユーザーの満足度を推定し、ポリシー学習の報酬信号として用いる。
• 明示的な報酬チャネルを必要とせず、暗黙の顔のフィードバックにのみ依存する。
• シミュレートされたグリップ選択タスクにおける目的指向エージェントが、顔の表情に基づいて最適なグリップを選択する。
• エージェントは行動を実行する前に肯定的な表情を待つよう学習し、誤った行動を最小限に抑える。
• 本手法はタスクに依存せず、他のボディランゲージの形態にも一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 顔の表情は、強化学習におけるユーザー満足度の信頼できる代理指標として使用可能か？
• RQ2 フェイスバリュイングは、インタラクティブな学習においてどれほど明示的フィードバックの必要性を低減できるか？
• RQ3 顔のフィードバックのみを用いて、エージェントが変化するユーザーの好みにどれほど迅速に適応できるか？
• RQ4 顔の特徴から学習した価値関数は、従来のフィードバックベースの手法を上回る性能を示せるか？
• RQ5 新規の物体を含む動的でオープンエンドな環境でも、本システムはどの程度の性能を示すか？

主な発見

• フェイスバリュイングを採用したエージェントは、明示的フィードバックのみに依存する従来のエージェントよりも、ユーザーの好みに著しく迅速に適応した。
• 無限の物体が存在する環境下では、フェイスバリュイングを用いたエージェントは顕著に少ないユーザー補正を要した。困難な条件下でフィードバックの必要を50-70％削減した。
• エージェントは行動を実行する前に肯定的な顔の表情を待つよう学習し、エラーを減らし、効率を向上させた。
• 実験的結果から、フェイスバリュイングを用いたエージェントは、より一貫してエピソードを完了し、ユーザーの干渉をより少なく実現した。
• ユーザーの好みが時間経過とともに変化しても、再トレーニングなしに本システムは頑健に適応した。
• 本手法はシミュレーション環境でも有効であり、実世界のロボットアプリケーションにおいてもより高いスケーラビリティを示すと期待される。