[논문 리뷰] A Deep Neural Model Of Emotion Appraisal

Pablo Barros, Emilia Barakova외 1명|arXiv (Cornell University)|2018. 08. 01.

Emotion and Mood Recognition참고 문헌 69인용 수 9

한 줄 요약

이 논문은 교차 모odal 인식, 정서적 기억, 동적 기분 표현을 하이브리드 신경망 아키텍처를 통해 통합한 사회적 로봇을 위한 깊이 신경망 모델을 제안한다. 이 모델은 인간 상호작용으로부터 정서 개념을 지속적으로 학습할 수 있으며, 정서 인식에서 경쟁적인 성능을 보이며 진화하는 내부 정서 상태를 생성할 수 있다. 이는 iCub 플랫폼에 로봇으로 구현하고 새로운 HRI 데이터셋을 통해 검증되었다.

ABSTRACT

Emotional concepts play a huge role in our daily life since they take part into many cognitive processes: from the perception of the environment around us to different learning processes and natural communication. Social robots need to communicate with humans, which increased also the popularity of affective embodied models that adopt different emotional concepts in many everyday tasks. However, there is still a gap between the development of these solutions and the integration and development of a complex emotion appraisal system, which is much necessary for true social robots. In this paper, we propose a deep neural model which is designed in the light of different aspects of developmental learning of emotional concepts to provide an integrated solution for internal and external emotion appraisal. We evaluate the performance of the proposed model with different challenging corpora and compare it with state-of-the-art models for external emotion appraisal. To extend the evaluation of the proposed model, we designed and collected a novel dataset based on a Human-Robot Interaction (HRI) scenario. We deployed the model in an iCub robot and evaluated the capability of the robot to learn and describe the affective behavior of different persons based on observation. The performed experiments demonstrate that the proposed model is competitive with the state of the art in describing emotion behavior in general. In addition, it is able to generate internal emotional concepts that evolve through time: it continuously forms and updates the formed emotional concepts, which is a step towards creating an emotional appraisal model grounded in the robot experiences.

연구 동기 및 목표

• 외부(인식)와 내부(기분, 정서적 기억) 정서 평가를 모두 지원하는 통합적이고 자기적응형 정서 평가 시스템을 개발하기 위해.
• 현재의 정서 모델과 로봇에서 장기적이고 경험 기반의 정서 이해의 필요성 사이의 격차를 메우기 위해.
• 실세계 HRI 시나리오에서의 관찰을 통해 개인화된 정서적 행동을 학습하고 기술할 수 있도록 하기 위해.
• 장기적 정서 행동 모델링을 평가하기 위한 새로운 데이터셋과 평가 방법론을 만들기 위해.
• 모델이 시간이 지남에 따라 내부 정서 개념을 형성하고 업데이트할 수 있는 능력을 입증하기 위해, 사회적 적응력을 향상시키기 위해.

제안 방법

• 다중감각 정서 인식을 위해 크로스채널 컨볼루션 신경망(PerceptionGWR)을 사용하여 시각적 및 听각적 입력으로부터 정서 개념의 군집화를 가능하게 한다.
• 재난적 잊음 없이 감정 카테고리의 지속적이고 점진적인 학습을 허용하는 필요시 성장하는 레이턴스 네트워크 아키텍처를 사용한다.
• 조절 연결을 통해 정서 기억 모듈과 기분 기억 모듈을 통합하여, 인식된 자극에 기반해 정서 표현을 동적으로 업데이트한다.
• 개념적 업데이트와 조절 피드백을 사용하여 단일감각 및 다중감각 조건에서 학습을 안정화시킨다.
• 로봇이 제어된 HRI 시나리오에서 인간 상호작용을 관찰하고 정서적 행동을 학습하기 위해 iCub 로봇에 시스템을 구현한다.
• 장기적 정서 행동 모델링 평가를 위해 새로운 HRI 기반 데이터셋을 수집하였으며, 내재적 기분 형성에 대한 맞춤형 평가 방법론을 개발하였다.

실험 결과

연구 질문

• RQ1 깊이 신경망 모델이 지속적인 정서 평가를 위해 교차 모달 인식과 내재된 정서 표현을 효과적으로 통합할 수 있는가?
• RQ2 기존 표준 코퍼스에서 최첨단 모델들과 비교해 볼 때, 모델의 외부 정서 평가 성능은 어느 정도인가?
• RQ3 장기적인 인간-로봇 상호작용에서 관찰을 통해 모델이 개인화된 정서적 행동을 얼마나 잘 학습하고 표현할 수 있는가?
• RQ4 기분 기억 모듈이 정서 기억에 어떻게 영향을 주며, 정서 표현의 안정성과 구조에 어떤 영향을 미치는가?
• RQ5 모델이 실시간으로 누적된 인간 상호작용 경험을 반영하는 진화하는 내부 정서 상태를 생성할 수 있는가?

주요 결과

• 제안된 모델은 표준 코퍼스에서 외부 정서 평가에서 경쟁적인 성능을 달성하였으며, 최첨단 모델과 동등하거나 이를 초월하였다.
• 모델은 관찰된 인간 상호작용에 기반해 내재된 정서 개념을 성공적으로 형성하고 지속적으로 업데이트하며 장기적 적응성을 보였다.
• 기분 기억 모듈은 정서 기억의 위상적 구조를 크게 변화시키지 않고 조절하여 시간에 따라 정서적 맥락을 유지하였다.
• HRI 시나리오에서 모델은 다양한 개인의 정서적 행동을 효과적으로 학습하고 기술하였으며, 짧고 덜 표현적인 상호작용에서 더 강한 기분 조절 효과를 관찰하였다.
• 새로운 HRI 데이터셋과 평가 프레임워크는 사회적 로봇에서 장기적 정서 행동 모델링 평가를 위한 신뢰할 수 있는 벤치마크를 제공한다.
• 정서적 기억과 기분 조절의 통합은 상호작용 수 분 동안 안정적이고 진화하는 정서 상태 표현을 가능하게 하였다.