[논문 리뷰] The Ambiguous World of Emotion Representation

Vidhyasaharan Sethu, Emily Mower Provost외 4명|arXiv (Cornell University)|2019. 09. 01.

Emotion and Mood Recognition참고 문헌 75인용 수 31

한 줄 요약

이 논문은 정서 표현과 인식에 내재된 모호성까지 명시적으로 모델링하는 통합 수학적 형식인 AMBiguous Emotion Representation (AMBER) 프레임워크를 제안한다. AMBER는 정서 표현 체계에 대한 체계적 추론을 가능하게 하고, 기존 방법에서 은폐된 가정을 명확히 하며, 분류형, 수치형, 순서형 표현 간의 비교 및 변환을 지원한다. 이는 차원형과 분류형 레이블 간의 군집 기반 또는 확률적 매핑을 포함한다.

ABSTRACT

Artificial intelligence and machine learning systems have demonstrated huge improvements and human-level parity in a range of activities, including speech recognition, face recognition and speaker verification. However, these diverse tasks share a key commonality that is not true in affective computing: the ground truth information that is inferred can be unambiguously represented. This observation provides some hints as to why affective computing, despite having attracted the attention of researchers for years, may not still be considered a mature field of research. A key reason for this is the lack of a common mathematical framework to describe all the relevant elements of emotion representations. This paper proposes the AMBiguous Emotion Representation (AMBER) framework to address this deficiency. AMBER is a unified framework that explicitly describes categorical, numerical and ordinal representations of emotions, including time varying representations. In addition to explaining the core elements of AMBER, the paper also discusses how some of the commonly employed emotion representation schemes can be viewed through the AMBER framework, and concludes with a discussion of how the proposed framework can be used to reason about current and future affective computing systems.

연구 동기 및 목표

• 정서 컴퓨팅에서 정서 표현을 기술하는 데 공통된 수학적 프레임워크가 부족한 문제를 해결하기 위해.
• 기존 단일 값 추정치로는 포착되지 않는 정서 표현과 인식의 본질적 모호성을 명시적으로 형식화하기 위해.
• 분류형, 차원형, 순서형 접근 방식을 포함한 기존 정서 표현 체계에 대해 체계적으로 추론하고 비교할 수 있는 구조적 방법을 제공하기 위해.
• 예를 들어 다수의 애너테이션 평균화나 레이블 변환을 위한 군집화를 사용하는 등의 현재 방법에서 은폐된 가정을 명확히 하기 위해.
• 사람-컴퓨터 상호작용에서 인간의 정서적 모호성에 대해 추론할 수 있는 미래의 AI 시스템 설계를 지원하기 위해.

제안 방법

• AMBER는 표현 유형(분류형, 수치형, 순서형), 도메인, 그리고 모호성 함수를 포함하는 구조적 수학적 객체로 정서 표현을 정의한다.
• 확률 분포 또는 신뢰도 측정을 사용하여 모호성을 명시적으로 모델링함으로써, 다수의 타당한 정서 상태를 수용할 수 있다.
• 핵심 구조를 시간에 따라 변화하는 표현으로 확장함으로써 시간에 따라 변화하는 표현을 지원한다.
• 도메인 구조와 순서와 같은 공통 구성 요소를 분석하여 표현 체계 간의 형식적 비교를 가능하게 한다.
• 예를 들어 3D의 각성-우울도-지배성 공간에서 분류형 레이블로의 변환과 같은 표현 체계 간의 매핑을 표현할 수 있는 형식적 언어를 제공한다.
• 소프트 레이블, 정서 프로파일, 혼합 정서와 같은 기존 체계를 통합 구조 내에 포함시켜, 이들의 호환성과 한계를 보여준다.

실험 결과

연구 질문

• RQ1 표현과 인식에서의 모호성을 고려한 정서 표현을 공식적으로 어떻게 표현할 수 있는가?
• RQ2 예를 들어 다수의 애너테이션 평균화나 차원형 레이블에 대한 k-means 군집화를 사용하는 등의 현재 정서 표현 체계에서 은폐된 가정은 무엇인가?
• RQ3 공통된 수학적 프레임워크를 사용하여 분류형, 수치형, 순서형 정서 표현을 체계적으로 비교할 수 있는가?
• RQ4 수치형 정서 레이블을 분류형으로 변환하는 데 군집 알고리즘을 사용하는 것이 정당한가? 이 과정에 내재된 가정은 무엇인가?
• RQ5 각성-우울도-지배성과 같은 차원 공간에서 분류형 레이블과 군집 간의 관계를 과도한 거리 측정 가정 없이 어떻게 모델링할 수 있는가?

주요 결과

• AMBER 프레임워크는 정서 컴퓨팅에서 기존의 모든 정서 표현 체계—분류형, 수치형, 순서형 유형을 포함하여—공식적으로 기술할 수 있다.
• 예를 들어 다수의 애너테이션 평균화나 수치형 레이블에 대한 k-means 군집화를 사용하는 전통적 접근 방식은 일반적으로 정당화되지 않는 가정(예: 유클리드 거리 또는 수직성)을 내포하고 있다.
• 3D 수치 공간에서 분류형 레이블로의 표현 간 변환은 기저 구조를 명시적으로 모델링해야 하며, 거리 유지나 선형성은 가정할 수 없다.
• 소프트 레이블이나 신뢰도 측정을 모호성 표현의 형태로 사용하는 것은 공식적으로 지지되며, 단일 값의 진실 레이블보다 더 현실적이다.
• 프레임워크는 단순히 애너테이션의 평균을 내는 것이나 수치 레이블을 군집화하는 것과 같은 기본 연산조차도 거리 구조와 순서에 대한 가정을 내포하고 있으며, 이러한 가정은 명시적으로 밝혀져야 한다는 점을 드러낸다.
• AMBER는 정서 표현에 대한 가정을 명확히 하고, 변환 및 비교에 대한 형식적 추론을 가능하게 하므로, 더 견고한 정서 컴퓨팅 시스템의 설계를 가능하게 한다.