[논문 리뷰] iCub: Learning Emotion Expressions using Human Reward

Nikhil Churamani, Francisco Cruz외 2명|arXiv (Cornell University)|2020. 03. 30.

Emotion and Mood Recognition참고 문헌 6인용 수 13

한 줄 요약

이 논문은 인간이 루프에 참여하는 강화학습 접근법을 제안하며, TAMER 프레임워크를 사용하여 iCub 로봇이 얼굴 LED 패턴을 통해 일곱 가지 보편적인 감정을 학습하고 표현하도록 훈련시킵니다. 얼굴 특징 추출을 위한 CNN, 감정 클러스터링을 위한 SOM, 인간이 제공한 보상에 의해 훈련된 MLP를 결합함으로써, 각 사용자당 100회 이상의 상호작용을 통해 의미 있고 사용자 맞춤형 반응을 얻을 수 있는 개인화된 감정 표현을 학습합니다.

ABSTRACT

The purpose of the present study is to learn emotion expression representations for artificial agents using reward shaping mechanisms. The approach takes inspiration from the TAMER framework for training a Multilayer Perceptron (MLP) to learn to express different emotions on the iCub robot in a human-robot interaction scenario. The robot uses a combination of a Convolutional Neural Network (CNN) and a Self-Organising Map (SOM) to recognise an emotion and then learns to express the same using the MLP. The objective is to teach a robot to respond adequately to the user's perception of emotions and learn how to express different emotions.

연구 동기 및 목표

• 인공 에이전트가 사회적 상호작용에서 인간과 유사한 감정을 표현할 수 있도록 훈련하는 방법을 개발하기 위해.
• 사용자 개인의 인식에 기반해 감정 표현을 적응시킬 수 있도록 인간이 제공한 보상 신호를 통해 로봇이 감정 표현을 조정할 수 있도록 하기 위해.
• 인간-로봇 상호작용에서 감정 표현을 위한 강화학습의 보상 형성 전략을 탐구하기 위해.
• 얼굴 감정 인식(CNN 및 SOM를 통한)과 행동 선택(MLP를 통한)을 통합하여 표현력 있는 로봇 행동을 구현하기 위해.
• 인간 피드백을 통해 훈련 시간을 단축하고 감정 표현 학습의 개인화를 향상시키기 위해.

제안 방법

• Cohn-Kanade 데이터셋의 사용자 얼굴 이미지를 처리하기 위해 사전 훈련된 CNN이 얼굴 특징 표현을 추출합니다.
• 자기조직화 맵(SOM)이 CNN 특징을 클러스터링하여 일곱 가지 보편적 감정과 중립 상태에 해당하는 고유한 유닛을 형성합니다.
• SOM의 최적 매칭 유닛(BMU)이 다층퍼셉트론(MLP)의 입력으로 사용되어 각 가능한 감정 표현에 대한 사용자 보상을 예측합니다.
• 사용자들은 로봇의 표정이 자신이 모방한 표정과 얼마나 유사한지에 따라 [-2, 2] 범위의 스칼라 보상을 제공합니다.
• MLP는 인간의 보상을 예측하도록 훈련되어 기대 보상을 최대화하는 표현 행동을 선택하도록 학습합니다.
• 시스템은 예측 보상이 가장 높은 행동을 선택하고 피드백에 따라 개선함으로써 반복적으로 향상됩니다.

실험 결과

연구 질문

• RQ1 사용자가 제공한 보상 신호를 통해 로봇이 개인 사용자가 인식하기에 정확한 감정을 표현하도록 학습할 수 있는가?
• RQ2 CNN, SOM 및 보상 형성 기반 강화학습의 조합이 개인화된 감정 표현 학습을 위해 얼마나 효과적인가?
• RQ3 의미 있는 감정 표현 적응을 달성하기 위해 필요한 인간 상호작용의 수는 얼마인가?
• RQ4 SOM의 BMU를 사용함으로써 인간-로봇 상호작용 맥락에서 감정 인식과 행동 선택이 어떻게 향상되는가?
• RQ5 TAMER 프레임워크는 실시간 인간 피드백을 사용하여 사회적 로봇의 표현 행동을 효과적으로 훈련하는 데 적용될 수 있는가?

주요 결과

• 시스템은 iCub 로봇의 얼굴 LED 패턴을 사용하여 분노, 혐오, 공포, 기쁨, 슬픔, 놀람 및 중립의 일곱 가지 보편적 감정을 성공적으로 표현하는 데에 성공했습니다.
• 초기 결과로 모델가 의미 있는 개인화된 감정 표현을 학습하기 위해 한 명의 사용자당 100회 이상의 상호작용이 필요로 함을 확인했습니다.
• 정규화된 유클리드 거리로 계산된 [-2, 2] 범위의 인간 제공 보상은 MLP가 적절한 표현을 선택하도록 효과적으로 이끌었습니다.
• CNN 기반 얼굴 특징 추출과 SOM 클러스터링의 통합은 행동 선택을 위한 강력한 감정 상태 식별을 가능하게 했습니다.
• 비보상 기반 접근법 대비 훈련 시간이 크게 단축되었으며, 다만 향후 최적화가 필요합니다.
• 사용자 피드백은 시간이 지남에 따라 로봇의 표정이 점점 더 정확하게 인식된다고 확인했으며, 인간이 루프에 참여하는 학습의 효과성을 뒷받침했습니다.