[논문 리뷰] Deep Emotion: A Computational Model of Emotion Using Deep Neural Networks

Chie Hieida, Takato Horii외 1명|arXiv (Cornell University)|2018. 08. 25.

Reinforcement Learning in Robotics참고 문헌 2인용 수 5

한 줄 요약

이 논문은 신체적 평가, 내부 정서 상태 표현, 행동 선택을 강화학습을 통해 통합하는 세 모듈로 구성된 정서의 깊이 신경망 모델을 제안한다. 모델은 자극에 인간과 유사한 정서 반응을 생성하며, 종단간 훈련을 통해 정서의 구분 능력 향상과 적응적 행동을 보여주며, 모든 모듈이 통합된 경우에 성능 향상이 뚜렷한 것으로 나타났다.

ABSTRACT

Emotions are very important for human intelligence. For example, emotions are closely related to the appraisal of the internal bodily state and external stimuli. This helps us to respond quickly to the environment. Another important perspective in human intelligence is the role of emotions in decision-making. Moreover, the social aspect of emotions is also very important. Therefore, if the mechanism of emotions were elucidated, we could advance toward the essential understanding of our natural intelligence. In this study, a model of emotions is proposed to elucidate the mechanism of emotions through the computational model. Furthermore, from the viewpoint of partner robots, the model of emotions may help us to build robots that can have empathy for humans. To understand and sympathize with people's feelings, the robots need to have their own emotions. This may allow robots to be accepted in human society. The proposed model is implemented using deep neural networks consisting of three modules, which interact with each other. Simulation results reveal that the proposed model exhibits reasonable behavior as the basic mechanism of emotion.

연구 동기 및 목표

• 정서 평가, 내부 상태 표현, 행동 반응을 포함한 인간 정서 처리의 전반적인 메커니즘을 반영하는 계산 모델을 개발하는 것.
• 로봇이 인간의 정서 반응을 반영하는 내부 정서 상태를 갖추어 공감 행동을 보이게 하는 것.
• 심리학적 정서 이론과 구현 가능한 계산 모델 간 격차를 딥러닝을 통해 메우는 것.
• 시뮬레이션과 강화학습을 통해 모델이 타당하고 구분 가능한 정서 반응을 생성할 수 있는 능력을 평가하는 것.
• 향후 물리적 로봇에의 구현과 언어 및 사회인지와의 통합을 위한 기반을 마련하는 것.

제안 방법

• 모델은 시각적 자극에서 정서 평가의 빠른 자동 과정을 시뮬레이션하기 위해 순환 주의 모듈(RAM)을 사용하여 정서의 긍정성과 각성도 값을 추출한다.
• 두 번째 모듈은 시간에 따라 변화하는 내부 정서 상태를 표현하기 위해 컨볼루션 리커런트 장단기 기억(ConvlSTM) 네트워크를 활용한다.
• 세 번째 모듈은 연속적인 행동 선택을 위해 심층 결정적 정책 기울기(DDPG)를 사용하며, 에이전트가 미소짓기와 같은 적응적 정서 행동을 학습하도록 한다.
• 세 모듈은 정서 상태의 동적 균형 유지 기반 보상 구조를 사용해 종단간 강화학습으로 훈련된다.
• 모델 평가는 정서 자극에 대한 IAPS 데이터베이스를 사용하며, 정서의 구분 능력과 행동 적응 능력을 성능 지표로 측정한다.
• 아키텍처는 초기 카테고리가 제한되어 있어도 훈련 과정에서 잠재적인 정서 분류와 경계 형성이 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝 신경망 모델이 시각적 자극만으로 인간과 유사한 정서 평가와 반응 생성을 시뮬레이션할 수 있는가?
• RQ2 내부 정서 상태 표현의 통합이 정서 행동의 정교함과 현실성 향상에 어떤 영향을 미치는가?
• RQ3 정서 상태의 동적 균형 기반 보상과 함께 강화학습을 통해 에이전트가 적응적이고 맥락 민감한 정서 반응을 보일 수 있는 정도는 어느 정도인가?
• RQ4 직접 행동 예측과 비교했을 때 전용 정서 상태 표현 레이어의 포함이 모델 성능 향상에 기여하는가?
• RQ5 종단간 훈련을 통해 모델이 놀람이나 선택적 미소와 같은 미세한 정서 반응을 생성할 수 있는가?

주요 결과

• 세 모듈 아키텍처의 통합은 내부 정서 상태 표현 레이어가 없는 모델 대비 정서의 구분 능력 향상과 행동 적응 능력 향상에 뚜렷한 기여를 하였다.
• 모델은 긍정적 자극에 대해 선택적으로 미소짓는 것을 성공적으로 학습하여 맥락에 적합한 정서 행동을 보였다.
• 순환 주의 모듈(RAM)은 시각적 자극에서 타당한 정서의 긍정성과 각성도 값을 생성하여 빠르고 자동적인 정서 평가를 지원하였다.
• ConvlSTM 레이어 내부의 정서 표현은 명시적으로 훈련된 네 가지 카테고리 외에도 분명한 정서 카테고리 형성이 관찰되었다.
• 시뮬레이션 결과는 에이전트의 행동이 시간이 지남에 따라 눈 감기 상태에서 눈 뜨기 상태로 변화하는 경향을 보였으며, 유아 발달을 모방하였다.
• 모델는 잠재적인 정서 경계 형성을 보이며, 단순한 훈련 목표로부터 더 풍부한 정서 공간이 유도될 수 있음을 시사하였다.