[논문 리뷰] HICEM: A High-Coverage Emotion Model for Artificial Emotional Intelligence

Benjamin Wortman, James Z. Wang|arXiv (Cornell University)|2022. 06. 15.

Emotion and Mood Recognition인용 수 5

한 줄 요약

HICEM는 다국어 단어 임베딩의 비지도 군집화를 바탕으로 15개의 이산 감정 카테고리로 구성된 고복도 감정 모델을 제안하며, 6개 언어에서 1,720개의 감정 개념에 대해 거의 최대 수준의 커버리지를 달성하면서 레이블 겹침을 최소화합니다. 이 모델은 커버리지 효율성에서 기존 감정 모델을 능가하며, 단어 벡터와의 의미 유사도를 활용한 감정 모델 평가를 위한 원칙적인 프레임워크를 제공합니다.

ABSTRACT

As social robots and other intelligent machines enter the home, artificial emotional intelligence (AEI) is taking center stage to address users' desire for deeper, more meaningful human-machine interaction. To accomplish such efficacious interaction, the next-generation AEI need comprehensive human emotion models for training. Unlike theory of emotion, which has been the historical focus in psychology, emotion models are a descriptive tools. In practice, the strongest models need robust coverage, which means defining the smallest core set of emotions from which all others can be derived. To achieve the desired coverage, we turn to word embeddings from natural language processing. Using unsupervised clustering techniques, our experiments show that with as few as 15 discrete emotion categories, we can provide maximum coverage across six major languages--Arabic, Chinese, English, French, Spanish, and Russian. In support of our findings, we also examine annotations from two large-scale emotion recognition datasets to assess the validity of existing emotion models compared to human perception at scale. Because robust, comprehensive emotion models are foundational for developing real-world affective computing applications, this work has broad implications in social robotics, human-machine interaction, mental healthcare, and computational psychology.

연구 동기 및 목표

• 자연스러운 인간-기계 상호작용을 지원하는 고복도·저겹침 감정 모델을 개발하기 위해 인공정서지능(AEI)을 위한 목표.
• 기존 감정 모델의 한계를 해결하기 위해, 충분한 커버리지가 없거나 지나치게 겹치는 레이블을 포함하는 문제를 해결하기 위한 목표.
• 대규모 감정 개념 세트와의 의미 유사도를 활용한 데이터 기반의 원칙적인 감정 모델 평가 방법을 제공하기 위한 목표.
• 다양한 문화권에서 인간 감정 경험의 전반을 대표할 수 있는 최소한의 핵심 감정 집합을 규명하기 위한 목표.

제안 방법

• 아랍어, 중국어, 영어, 프랑스어, 스페인어, 러시아어 등 6개 언어에서 1,720개의 감정 개념에 대해 FastText 단어 임베딩을 활용.
• 의미적 구조를 유지하면서 감정 개념을 일관된 군집으로 묶기 위해 비지도 군집화(Umap 및 k-means)를 적용.
• 모델 커버리지를 시각화하고 전반적인 의미적 구조를 유지하기 위해 차원 감소를 위해 UMAP를 활용.
• 감정 개념 벡터와 모델 군집 중심점 간의 최대 로그 코사인 유사도를 사용하여 모델 커버리지를 정량화.
• 기존 모델들(Ekman, Plutchik, GoEmotions 등)과 동일한 의미 유사도 기준으로 커버리지 비교를 통해 모델 품질을 검증.
• 각 군집의 중앙값 벡터를 사용하여 각 감정 레이블에 대한 대표 요약어를 생성.

Figure 1: Existing emotion models provide incomplete representations across the entire emotion space. Here we visualize the maximum log cosine similarity (with a ceiling of 0.5) between the word vectors of 1,720 emotion concepts and the contents of the model. A higher cosine similarity (yellow) mean

실험 결과

연구 질문

• RQ1 최소한의 이산 감정 카테고리 집합이 다양한 언어와 감정 개념에 대해 최대 커버리지를 달성할 수 있는가?
• RQ2 기존 감정 모델의 커버리지는 단어 임베딩과의 의미 유사도 측정 기준으로 인간의 감정 인지와 비교해 볼 때 어떻게 되는가?
• RQ3 레이블 겹침을 최소화하면서 인간 감정 공간의 커버리지를 최대화하는 데 최적의 감정 구성 요소 수는 얼마인가?
• RQ4 다국어 단어 임베딩과 군집화 기법을 통해 다양한 문화권에서 공통으로 사용되는 감정의 핵심 집합을 식별할 수 있는가?
• RQ5 연속적 차원 모델(VAD 등)과 비교해 볼 때 HICEM는 AEI 응용 분야에서 커버리지 및 실용성 측면에서 어떤가?

주요 결과

• HICEM는 15개의 구성 요소로 6개 주요 언어에서 1,720개 감정 개념에 거의 최대 수준의 커버리지를 달성하며, Plutchik의 32라벨 휠보다도 뛰어난 성능을 보입니다.
• GoEmotions(28라벨) 및 Cowen의 27라벨 모델과 비교해도 레이블 겹침이 현저히 적습니다.
• HICEM-15는 Plutchik 모델과 유사한 커버리지를 제공하지만 구성 요소 수가 절반으로 줄어들어 효율성이 뛰어납니다.
• 분석 결과 기존 감정 모델, 예를 들어 Ekman의 7가지 기본 감정 모델도 커버리지가 부족하여 감정 공간의 대부분이 표현되지 못하고 있음을 확인했습니다.
• 단어 임베딩과 군집화 기법을 통해 다양한 문화권과 언어에서 일관되게 나타나는 15개 감정 구성 요소의 보편적 핵심 집합을 성공적으로 식별했습니다.
• 본 연구는 연속적 차원 모델(VAD 등)이 HICEM와 상호보완적임을 확인했으며, 향후 데이터 수집에서의 우월성은 중복될 수 있음을 시사합니다.

Figure 2: Our pipeline for generating a cross cultural, high-coverage model of emotion. Starting with our list of emotion-concepts, we generate their FastText word vectors. Then we perform dimensionality reduction and clustering to generate summary words. This process was repeated to create summary