[논문 리뷰] Multi-modal Approach for Affective Computing

Siddharth Siddharth, Tzyy‐Ping Jung외 1명|arXiv (Cornell University)|2018. 04. 25.

Emotion and Mood Recognition참고 문헌 14인용 수 8

한 줄 요약

이 논문은 EEG, ECG, GSR 및 전면 영상 데이터 간의 새로운 생리적 기초 보정 방법을 도입하여 정서 분류 정확도를 향상시키는 다중 모odal 정서 계산 프레임워크를 제안한다. 특히 EEG와 영상 데이터에서 특징을 융합하고, 극한 학습 기반 기계(ELM) 및 딥 페처(예: VGG 기반)를 사용함으로써, 사전 보정 후 정상적인 성능 향상을 보이며, 4개 정서 클래스 분류에서 52.51%의 정확도를 달성하여 이전 연구를 뛰어넘는 최신 기술 수준의 성능을 보였다. 이는 정서의 정상성, 각성도, 선호도 및 지배성 예측에서도 일관된 성과 향상을 보였다.

ABSTRACT

Throughout the past decade, many studies have classified human emotions using only a single sensing modality such as face video, electroencephalogram (EEG), electrocardiogram (ECG), galvanic skin response (GSR), etc. The results of these studies are constrained by the limitations of these modalities such as the absence of physiological biomarkers in the face-video analysis, poor spatial resolution in EEG, poor temporal resolution of the GSR etc. Scant research has been conducted to compare the merits of these modalities and understand how to best use them individually and jointly. Using multi-modal AMIGOS dataset, this study compares the performance of human emotion classification using multiple computational approaches applied to face videos and various bio-sensing modalities. Using a novel method for compensating physiological baseline we show an increase in the classification accuracy of various approaches that we use. Finally, we present a multi-modal emotion-classification approach in the domain of affective computing research.

연구 동기 및 목표

• 단일 모달 정서 계산의 한계를 해결하기 위해 EEG, ECG, GSR, 영상 등 다양한 생리적 및 시각적 모달리티를 통합하여 정서 분류 성능을 향상시키는 것을 목적으로 한다.
• 실험 시작 시 개인의 정서 상태를 보정하기 위한 새로운 생리적 기초 보정 방법을 개발하고 검증함으로써 모델의 강인성을 향상시키는 것을 목적으로 한다.
• 정서 분류 맥락에서 다양한 특징 추출 기법(특히 딥 러닝 기반 특징)의 성능을 비교 및 평가하는 것을 목적으로 한다.
• 특히 EEG + 전면 영상 융합이 개별 모달리티보다 뛰어난 분류 정확도를 보임을 입증하는 것을 목적으로 한다.
• 고립된 모달리티 연구의 한계를 극복하기 위해 시각과 생체 신호를 통합한 통합적이고 다모달 프레임워크를 구축하는 것을 목적으로 한다.

제안 방법

• 연구는 40명의 피실험자로부터 640개 영상 시도 동안 동기화된 EEG(14채널, 128Hz), ECG(2채널, 128Hz), GSR(1채널, 128Hz), 전면 영상(25fps) 데이터를 포함한 AMIGOS 데이터셋을 사용한다.
• 각 모달리티에 대해 별도의 특징 추출 방법을 적용한다: EEG에는 조건부 엔트로피와 파wer 스펙트럼 밀도를, ECG와 GSR에는 시간 도메인 및 주파수 도메인 특징을, 전면 영상에는 CNN-VGG 기반 특징을 적용한다.
• 개인의 정서 기초를 보정하기 위해 새로운 기초 보정 방법을 도입하며, 이는 사전 시험 동안의 자가 보고 정서 평가(정상성, 각성도)를 모델링하여 생리적 반응을 정규화하는 데 사용된다.
• 분류에는 시그모이드 활성화 함수를 사용한 극한 학습 기반 기계(ELM)를 사용하며, 10겹 교차 검증과 이진 분류를 통해 정상성, 각성도, 선호도 및 지배성(고/저)에 대해 수행하며, Russell의 원형 모델 기반 4개 및 8개 정서 클래스 분류를 실시한다.
• 다중 모달 융합은 다양한 모달리티에서 가장 정보가 많은 특징(예: EEG + 영상, GSR + ECG)을 연결하여 통합된 특징 공간에서 ELM 분류기 재학습을 통해 달성된다.
• 성능 평가는 다양한 반응 유형과 정서 클래스 구성에서 분류 정확도를 기준으로 평가하며, 기초 보정 여부에 따라 결과를 보고한다.

실험 결과

연구 질문

• RQ1 개인의 정서 기초 보정이 다양한 감지 모달리티 간의 정서 계산 모델 정확도에 어떤 영향을 미치는가?
• RQ2 특히 딥 러닝 기반 특징을 포함한 다양한 특징 추출 기법 조합 중에서 다중 모달 정서 분류에서 가장 높은 성능을 내는 조합은 무엇인가?
• RQ3 EEG + 영상, GSR + ECG 등의 다양한 모달리티 융합이 정상성, 각성도, 선호도 및 지배성 분류 정확도 측면에서 개별 모달리티와 비교해 어떻게 다른가?
• RQ4 생리 신호(EEG, ECG, GSR)와 영상 기반 얼굴 분석은 4개 및 8개 정서 클래스 분류에 얼마나 기여하는가?
• RQ5 기초 보정된 생리적 데이터를 포함한 모델은 보정이 없는 모델에 비해 분류 성능 향상이 유의미하게 이루어지는가?

주요 결과

• 기초 보정은 모든 모달리티에서 분류 정확도를 유의미하게 향상시켰으며, 특히 EEG와 영상 기반 접근에서 가장 큰 향상을 보였다.
• EEG와 전면 영상 특징의 융합은 4개 정서 클래스 분류에서 52.51%의 정확도를 달성하여 개별 모달리티를 뛰어넘고 이전 최고 기술 수준 결과보다도 뚜렷한 향상을 보였다.
• EEG는 생체 신호 모달리티 중에서 가장 높은 개별 정확도를 기록했으며, 기초 보정 후에는 영상 기반 성능과 비슷하거나 이를 초월하는 경향을 보였다.
• EEG와 영상 데이터 양쪽에 CNN-VGG 기반 특징을 사용함으로써 분류 성능이 향상되었으며, 특히 기초 보정 후에 그 효과가 두드러져 생리적 변동성을 효과적으로 포착할 수 있음을 시사했다.
• 선호도와 지배성은 정상성과 각성도보다 더 높은 분류 정확도를 보였으며, 이는 이 주관적 평가에 더 강한 생리적 관련성이 있음을 시사한다.
• 8개 정서 클래스 분류의 경우 생체 신호 모달리티에서 정확도가 약간 감소했으며, 이는 정상성과 각성도 값이 1~9의 좁은 척도를 가지기 때문에 미세한 분류가 더 어려워졌기 때문일 수 있다.