[論文レビュー] iCub: Learning Emotion Expressions using Human Reward

Nikhil Churamani, Francisco Cruz+2 more|arXiv (Cornell University)|Mar 30, 2020

Emotion and Mood Recognition参考文献 6被引用数 13

ひとこと要約

本論文では、TAMERフレームワークを用いて、iCubロボットが顔のLEDパターンを通じて7つの普遍的 emotionsを学習・表現できる人間を含む強化学習手法を提案する。顔特徴抽出のためのCNN、感情クラスタリングのためのSOM、人間が提供する報酬を用いて訓練されるMLPを組み合わせることで、1人あたり100回以上の相互作用を経て、意味のある、ユーザーに適応した反応を学習する。

ABSTRACT

The purpose of the present study is to learn emotion expression representations for artificial agents using reward shaping mechanisms. The approach takes inspiration from the TAMER framework for training a Multilayer Perceptron (MLP) to learn to express different emotions on the iCub robot in a human-robot interaction scenario. The robot uses a combination of a Convolutional Neural Network (CNN) and a Self-Organising Map (SOM) to recognise an emotion and then learns to express the same using the MLP. The objective is to teach a robot to respond adequately to the user's perception of emotions and learn how to express different emotions.

研究の動機と目的

• 人間の感情に似た感情を社会的相互作用において表現できる人工エージェントの訓練手法を開発すること。
• 人間が提供する報酬信号に基づき、個々のユーザーの認識に応じた感情表現の適応を可能にすること。
• 人間-ロボット相互作用における感情表現のための強化学習における報酬形状の探求。
• 顔の感情認識（CNNおよびSOMを用いて）と行動選択（MLPを用いて）を統合し、表現的なロボット行動を実現すること。
• 人間のフィードバックを通じて、訓練時間を短縮し、感情表現学習におけるパーソナライゼーションを向上させること。

提案手法

• Cohn-Kanadeデータセットからのユーザーの顔画像を処理するための事前学習済みCNNが、顔特徴表現を抽出する。
• 自己組織化マップ（SOM）がCNNの特徴をクラスタリングし、7つの普遍的 emotions およびネガティブ（中立）に対応する明確なユニットを形成する。
• SOMの最良一致ユニット（BMU）が、多層パーセプトロン（MLP）の入力として用いられ、各可能な感情表現に対するユーザーの報酬を予測する。
• ユーザーは、ロボットの表情が自分自身の模倣とどれほど近いかに基づき、範囲[-2, 2]のスカラー報酬を提供する。
• MLPは人間の報酬を予測するように訓練され、期待報酬を最大化する表情行動を選択するよう学習する。
• システムは、予測報酬が最も高い行動を選択し、フィードバックに基づいて改善を繰り返すことで、段階的に向上する。

実験結果

リサーチクエスチョン

• RQ1 人間が提供する報酬信号を用いて、個々のユーザーが正確に認識する表情をロボットが学習できるか？
• RQ2 CNN、SOM、報酬形状RLの組み合わせが、パーソナライズされた感情表現学習をどの程度効果的に可能にするか？
• RQ3 意味のある感情表現の適応を達成するために必要な人間との相互作用回数はどの程度か？
• RQ4 SOMのBMUの使用が、人間-ロボット相互作用の文脈において感情認識と行動選択をどのように向上させるか？
• RQ5 TAMERフレームワークは、リアルタイムの人間フィードバックを用いて、社会的ロボットの表現行動を効果的に訓練するために適用可能か？

主な発見

• 本システムは、iCubロボットの顔のLEDパターンを用いて、怒り、嫌悪、恐怖、喜び、悲しみ、驚き、および中立の7つの普遍的 emotions を正常に表現するよう学習した。
• 予備的な結果では、意味のあるパーソナライズされた感情表現を学習するため、1人あたり100回以上のユーザー相互作用が必要であることが示された。
• 正規化ユークリッド距離によって計算される範囲[-2, 2]の報酬を人間が提供することで、MLPが適切な表現を選択するよう効果的に導かれた。
• CNNによる顔特徴抽出とSOMによるクラスタリングの統合により、行動選択のための強固な感情状態同定が可能になった。
• 報酬に基づかないアプローチと比較して、訓練時間を顕著に短縮したが、さらなる最適化が求められる。
• ユーザーのフィードバックでは、時間の経過とともにロボットの表情がますます正確に認識されていることが示され、人間を含む学習ループの有効性が確認された。