[論文レビュー] A Deep Neural Model Of Emotion Appraisal

Pablo Barros, Emilia Barakova+1 more|arXiv (Cornell University)|Aug 1, 2018

Emotion and Mood Recognition参考文献 69被引用数 9

ひとこと要約

本論文は、ハイブリッドニューラルアーキテクチャを用いて、マルチモodal知覚、感情的記憶、動的ムード表現を統合することで、社会的ロボットにおける感情評価のためのディープニューラルモデルを提案する。このモデルは、人間との対話から感情的概念を継続的に学習可能であり、感情認識において競争力のある性能を示し、進化する内部感情状態を生成可能である。ロボット上での実装はiCubプラットフォームおよび新規のHRIデータセットを用いて検証された。

ABSTRACT

Emotional concepts play a huge role in our daily life since they take part into many cognitive processes: from the perception of the environment around us to different learning processes and natural communication. Social robots need to communicate with humans, which increased also the popularity of affective embodied models that adopt different emotional concepts in many everyday tasks. However, there is still a gap between the development of these solutions and the integration and development of a complex emotion appraisal system, which is much necessary for true social robots. In this paper, we propose a deep neural model which is designed in the light of different aspects of developmental learning of emotional concepts to provide an integrated solution for internal and external emotion appraisal. We evaluate the performance of the proposed model with different challenging corpora and compare it with state-of-the-art models for external emotion appraisal. To extend the evaluation of the proposed model, we designed and collected a novel dataset based on a Human-Robot Interaction (HRI) scenario. We deployed the model in an iCub robot and evaluated the capability of the robot to learn and describe the affective behavior of different persons based on observation. The performed experiments demonstrate that the proposed model is competitive with the state of the art in describing emotion behavior in general. In addition, it is able to generate internal emotional concepts that evolve through time: it continuously forms and updates the formed emotional concepts, which is a step towards creating an emotional appraisal model grounded in the robot experiences.

研究の動機と目的

• 外部（知覚）および内部（ムード、感情的記憶）の両方の評価を支援する統合的かつ自己適応型の感情評価システムの開発。
• 現在の感情モデルと、ロボットにおける長期的で経験に基づく感情理解のニーズの間のギャップを埋めること。
• 現実世界のHRIシナリオにおける観察を通じて、個別化された感情行動を学び、記述可能にする。
• 長期的かつ感情的な行動モデリングを評価するための新規データセットおよび評価手法の構築。
• モデルが時間経過とともに内部感情的概念を形成・更新できることを示し、社会的適応性を向上させること。

提案手法

• マルチセンサの感情知覚を可能にするクロスチャネル畳み込みニューラルネットワーク（PerceptionGWR）を採用し、視覚的および聴覚的入力からの感情的概念のクラスタリングを実現する。
• 必要に応じて成長する再帰的ネットワークアーキテクチャにより、深刻な忘却を回避しながら、感情カテゴリの継続的かつ段階的な学習が可能となる。
• 感情的記憶とムード記憶モジュールを、刺激に応じた感情表現の動的更新を可能にするモodulating接続で統合する。
• 概念的更新とモジュレートフィードバックを用いることで、単一モーダルおよびマルチモーダル条件の両方で学習を安定化させる。
• 制御されたHRIシナリオにおける人間との対話から、感情行動を観察・学習可能なiCubロボットにシステムを実装する。
• 長期的かつ感情的な行動モデリングを評価するための新規HRIベースのデータセットを収集し、内在的ムード形成を評価するためのカスタム評価手法を構築した。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルモデルは、マルチモーダル知覚と内在的感情表現を効果的に統合し、ロボットにおける継続的かつ感情的評価を実現できるか？
• RQ2 標準コーパス上で、最先端モデルと比較して、このモデルの外部感情評価性能はどの程度高いか？
• RQ3 長期的な人間-ロボット対話において、観察を通じて個別化された感情行動をどの程度学び、表現できるか？
• RQ4 ムード記憶は感情的記憶にどのように影響を与え、感情表現の安定性および構造的整合性にどのような影響を与えるか？
• RQ5 モデルは、リアルタイムかつ蓄積された人間との対話経験を反映した、進化する内部感情状態を生成できるか？

主な発見

• 提案モデルは、標準コーパス上での外部感情評価において、競争力のある性能を達成しており、最先端モデルと同等またはそれを上回っている。
• モデルは、観察された人間との対話に基づき、内部感情的概念を効果的に形成し、継続的に更新可能であり、長期的適応性を示している。
• ムード記憶モジュールは、感情的記憶のトポロジカル構造を大幅に変化させることなく、そのモodulationを実現し、時間経過にわたる感情的文脈の保持に寄与している。
• HRIシナリオにおいて、モデルは異なる個々の人物の明確な感情的行動を効果的に学習・記述できており、短時間で感情表現が乏しい対話において、より強いムードモジュレーションが観察された。
• 新規のHRIデータセットおよび評価フレームワークは、社会的ロボットにおける長期的かつ感情的な行動モデリングを評価するための信頼できるベンチマークを提供する。
• 感情的記憶とムードモジュレーションの統合により、対話数分にわたる安定的かつ進化する感情状態の表現が可能になった。