[論文レビュー] Deep Emotion: A Computational Model of Emotion Using Deep Neural Networks

Chie Hieida, Takato Horii+1 more|arXiv (Cornell University)|Aug 25, 2018

Reinforcement Learning in Robotics参考文献 2被引用数 5

ひとこと要約

本稿では、生理的評価、内部感情状態の表現、強化学習を用いた行動選択を統合する3モジュール構成の深層ニューラルネットワークモデルを提案する。このモデルは、エンドツーエンド学習により、刺激に対して人間らしい感情反応を生成し、感情の微細な差別化と適応的行動を実現する。主な結果として、すべてのモジュールを統合した場合に、欠損バージョンと比較して性能が向上していることが示された。

ABSTRACT

Emotions are very important for human intelligence. For example, emotions are closely related to the appraisal of the internal bodily state and external stimuli. This helps us to respond quickly to the environment. Another important perspective in human intelligence is the role of emotions in decision-making. Moreover, the social aspect of emotions is also very important. Therefore, if the mechanism of emotions were elucidated, we could advance toward the essential understanding of our natural intelligence. In this study, a model of emotions is proposed to elucidate the mechanism of emotions through the computational model. Furthermore, from the viewpoint of partner robots, the model of emotions may help us to build robots that can have empathy for humans. To understand and sympathize with people's feelings, the robots need to have their own emotions. This may allow robots to be accepted in human society. The proposed model is implemented using deep neural networks consisting of three modules, which interact with each other. Simulation results reveal that the proposed model exhibits reasonable behavior as the basic mechanism of emotion.

研究の動機と目的

• 人間の感情処理の全メカニズム、すなわち評価、内部状態の表現、行動反応を捉える計算モデルを開発すること。
• 人間の感情反応を模倣する内部感情状態を備えることで、ロボットが共感的な行動を示せるようにすること。
• 心理学的理論における感情と実装可能な計算モデルとの間のギャップを、深層学習を用いて埋めること。
• シミュレーションと強化学習を通じて、妥当で差別化された感情反応を生成する能力をモデルが有するかを評価すること。
• 今後の物理的ロボットへの実装および言語・社会認知との統合の基盤を築くこと。

提案手法

• モデルは、視覚的刺激から価値と覚醒度の値を抽出するための再帰的注意モジュール（RAM）を用い、迅速で自動的な感情的評価を模倣する。
• 2番目のモジュールは、時系列にわたる内部感情状態を表現するための畳み込み長短期記憶（ConvLSTM）ネットワークを採用し、動的な感情の遷移を捉える。
• 3番目のモジュールは、連続的行動選択のための深層決定的方策勾配（DDPG）を用い、エージェントが笑顔を示すなどの適応的行動を学習可能にする。
• 3つのモジュールは、感情状態のホメオスタシス的調節に基づく報酬を用いてエンドツーエンドで学習される。
• モデルは、感情的刺激のためのIAPSデータベースを用いて評価され、感情の差別化と行動の適応性が指標として測定される。
• アーキテクチャは、限定的な初期カテゴリでさえも、訓練を通じて顕在的な感情の分類と境界形成を生み出すことが可能である。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークモデルは、視覚的刺激のみを用いて人間らしい感情的評価と反応生成を模倣できるか？
• RQ2 内部感情状態の表現を統合することで、感情的行動の差別化と現実性はどのように向上するか？
• RQ3 ホメオスタシス的報酬を用いた強化学習は、エージェントに適応的で文脈に敏感な感情反応をどれほど導くことができるか？
• RQ4 専用の感情状態表現層を含めることで、直接的な行動予測と比較してモデルの性能は向上するか？
• RQ5 エンドツーエンド学習により、驚きや選択的笑顔のような洗練された感情反応をモデルが生成できるか？

主な発見

• 3モジュール構成の統合により、内部感情状態表現層を欠損したモデルと比較して、感情の差別化と行動の適応性が顕著に向上した。
• モデルは、肯定的刺激に対して選択的に笑顔を浮かべることを学習し、文脈に適した感情的行動を示した。
• 再帰的注意モジュール（RAM）は、視覚的刺激から妥当な価値と覚醒度の値を生成し、迅速で自動的な感情的評価を支持した。
• ConvLSTM層内の内部表現は、明示的に訓練された4つのカテゴリのみを想定しても、明確な感情カテゴリの形成の兆候を示した。
• シミュレーション結果から、エージェントの行動が時間経過とともに閉じた目から開いた目へと進化し、乳児発達を模倣した。
• モデルは顕在的な感情境界形成を示し、単純な訓練目的からもより洗練された感情空間が生じ得ることを示唆した。