[논문 리뷰] Fuzzy Model on Human Emotions Recognition

Kaveh Bakhtiyari, Hafizah Husain|arXiv (Cornell University)|2013. 01. 01.

Emotion and Mood Recognition참고 문헌 7인용 수 19

한 줄 요약

이 논문은 키보드, 마우스, 터치스크린 상호작용을 기반으로 다수의 감정을 동시에 감지할 수 있는 퍼지 논리 기반 모델을 제안한다. 감정은 0–4의 다섯 단계 강도 수준에서 연속적인 표현이 가능하며, SVM로 학습된 시스템은 감정 수준 추정에서 최대 16.7%의 거짓 양성률을 기록하며, 기존의 이산 감정 분류 방법에 비해 더 자연스럽고 연속적인 인간 감정 표현을 가능하게 한다. 감정 탐지 정확도는 최대 5% 향상되었다.

ABSTRACT

This paper discusses a fuzzy model for multi-level human emotions recognition by computer systems through keyboard keystrokes, mouse and touchscreen interactions. This model can also be used to detect the other possible emotions at the time of recognition. Accuracy measurements of human emotions by the fuzzy model are discussed through two methods; the first is accuracy analysis and the second is false positive rate analysis. This fuzzy model detects more emotions, but on the other hand, for some of emotions, a lower accuracy was obtained with the comparison with the non-fuzzy human emotions detection methods. This system was trained and tested by Support Vector Machine (SVM) to recognize the users' emotions. Overall, this model represents a closer similarity between human brain detection of emotions and computer systems.

연구 동기 및 목표

• 이산 감정 탐지의 한계를 해결하기 위해 감정을 이진 분류(존재/미존재)가 아닌 연속적이고 다수 수준의 상태로 모델링한다.
• 실제 인간 감정 상태의 복잡성을 반영하기 위해 다수의 감정과 그 강도 수준을 동시에 탐지할 수 있도록 한다.
• 특수 센서가 필요 없는 널리 보급된 입력 방식(키보드, 마우스, 터치스크린)을 사용하여 계산적으로 구현 가능한 비침습적 감정 인식 시스템을 개발한다.
• 뇌의 퍼지 기반 감정 처리 방식을 모방함으로써 인간-컴퓨터 상호작용의 자연스러움과 정확도를 향상시킨다.

제안 방법

• 감정은 5단계 퍼지 척도(0 = 없음, 4 = 최대 강도)로 분류되어 연속적인 감정 표현이 가능하다.
• 130명의 참가자로부터 다양한 문화 배경을 고려해 경험 샘플링 방법론(ESM)을 사용해 자가 보고된 감정 상태를 수집했다.
• PANAS 프레임워크에 기본 감정 7종을 추가하여 학습 및 평가를 위한 27개 감정 데이터셋을 구성했다.
• 행동 특징(타이핑 동작, 마우스 이동, 터치 상호작용)을 퍼지 감정 수준에 매핑하기 위해 지지 벡터 머신(SVM)을 분류 엔진으로 사용했다.
• 퍼지 논리를 적용해 감정 간 확률적 동시 발생을 모델링함으로써 특정 강도 수준에서 보조적 또는 동시 발생하는 감정을 추정할 수 있도록 했다.
• 평가에는 두 가지 지표를 사용했다: (1) 감정 이름 정확도 탐지, (2) 낮은 거짓 양성률을 갖는 정확한 수준 추정.

실험 결과

연구 질문

• RQ1 퍼지 모델은 이산 카테고리가 아닌 연속적인 강도 수준(0–4)으로 인간 감정을 효과적으로 표현할 수 있는가?
• RQ2 시스템은 얼마나 높은 정확도와 낮은 거짓 양성률로 다수의 동시 발생 감정을 동시에 탐지할 수 있는가?
• RQ3 문화적 및 인구 통계적 요인(예: 지역, 성별)은 행동 데이터에서 감정 동시 발생 패턴과 강도에 어떤 영향을 미치는가?
• RQ4 기존의 이진 또는 단일 감정 탐지 모델에 비해 퍼지 감정 표현을 사용할 경우 감정 인식의 현실성과 정확도가 향상되는가?

주요 결과

• 퍼지 모델은 다수의 감정과 그 강도 수준을 인식함으로써 비퍼지 방법에 비해 최대 5% 높은 탐지 정확도를 달성했다.
• 감정 수준 추정의 거짓 양성률은 0%에서 16.7% 사이로 변동하여 다양한 감정 상태에서 강도 추정이 신뢰할 수 있음을 시사했다.
• 기쁨, 기대, 분노, 공포는 각각 다른 패턴을 보였지만 상당한 겹침을 보였다. 혐오와 분노는 유사한 동적 프로파일을 공유했다.
• 모델은 동시 감정을 성공적으로 추정했다. 예를 들어 기쁨이 50%일 때 공포는 26%로 추정되었고, 수용은 55%로 추정되었다. 이는 다중 감정 인식 능력을 입증한다.
• 남성 참가자들은 전반적으로 더 강한 자가 보고 감정을 기록했으며, '활동적'이 가장 강도가 높았고(3.24/4), '비협조적'이 가장 약했다(1.62/4).
• 지역적 차이가 관찰되었으며, 중동 참가자들은 기쁨이 50%일 때 공포(1.33)와 놀라움(1.33) 수준이 높게 보고되었고, 유럽 참가자들은 같은 조건에서 수용(2.09)과 기대(1.8) 수준이 더 높았다.