[논문 리뷰] Multimodal Emotion Recognition Using Multimodal Deep Learning

Wei Liu, Wei‐Long Zheng외 1명|arXiv (Cornell University)|2016. 02. 26.

Emotion and Mood Recognition참고 문헌 11인용 수 50

한 줄 요약

이 논문은 뇌파(EEG) 및 눈동자 움직임 데이터에서 정서 인식을 향상시키기 위해 딥 오토인코더(DAE)와 双모달 딥 오토인코더(BDAE)를 사용하는 다중모态 딥 러닝 프레임워크를 제안한다. SEED 데이터셋에서 91.01%의 최신 기술 수준(SOTA) 정확도와 교차모달 학습에서 66.34%의 정확도를 달성하여, 다양한 모달 간의 공유 표현이 정서 모델링 성능을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

To enhance the performance of affective models and reduce the cost of acquiring physiological signals for real-world applications, we adopt multimodal deep learning approach to construct affective models from multiple physiological signals. For unimodal enhancement task, we indicate that the best recognition accuracy of 82.11% on SEED dataset is achieved with shared representations generated by Deep AutoEncoder (DAE) model. For multimodal facilitation tasks, we demonstrate that the Bimodal Deep AutoEncoder (BDAE) achieves the mean accuracies of 91.01% and 83.25% on SEED and DEAP datasets, respectively, which are much superior to the state-of-the-art approaches. For cross-modal learning task, our experimental results demonstrate that the mean accuracy of 66.34% is achieved on SEED dataset through shared representations generated by EEG-based DAE as training samples and shared representations generated by eye-based DAE as testing sample, and vice versa.

연구 동기 및 목표

• 딥 러닝을 활용해 다중 생리 신호를 융합함으로써 정서 모델링 성능을 향상시키기 위해.
• 다중모달 사전학습을 통한 공유 표현을 활용해 고비용의 EEG 데이터 의존도를 줄이고 단모달 성능을 향상시키기 위해.
• 뇌파 및 눈동자 움직임 특징 간의 교차모달 전이 학습을 탐색하기 위해.
• 공유 표현이 다양한 모달 간의 공통된 정서 패턴을 어떻게 포착하는지 검증하기 위해.
• 실세계 인간-기계 인터페이스(HMI) 응용 분야에 적합한 강력하고 확장 가능한 프레임워크를 제공하기 위해.

제안 방법

• 단일 모달 생리 신호(뇌파 또는 눈동자 움직임)에서 공유 표현을 학습하기 위해 단모달 딥 오토인코더(DAE)를 활용하였다.
• 결합된 뇌파 및 눈동자 움직임 데이터에서 공유 표현을 함께 학습하기 위해 이중모달 딥 오토인코더(BDAE)를 제안하였다.
• 하위 작업인 정서 분류에 공유 표현을 고수준 특징으로 사용하여 원시 또는 수작업 특징을 대체하였다.
• 조기 융합 또는 후기 융합과 같은 복잡한 융합 전략을 피하기 위해 특징 수준의 융합을 공유 표현을 통해 구현하였다.
• 두 개의 공개 데이터셋인 SEED(뇌파 기반) 및 DEAP(다중모달 생리 신호)에서 모델을 훈련하였다.
• 정확도, 표준편차 및 혼동 행렬을 사용하여 신뢰성과 클래스 간 분류 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 단일 모달에서 DAE를 통해 학습한 공유 표현을 사용할 경우, 원시 특징을 직접 사용하는 것보다 정서 인식 정확도가 향상되는가?
• RQ2 뇌파 및 눈동자 움직임 데이터에서 BDAE를 통해 공동 학습을 수행할 경우, 단모달 또는 전통적 융합 방법보다 더 높은 분류 정확도를 달성하는가?
• RQ3 한 모달(예: 뇌파)에서 학습한 공유 표현이 다른 모달(예: 눈동자 움직임)의 정서를 효과적으로 인식하는 데 사용될 수 있는가?
• RQ4 교차모달 학습에서의 모델 성능은 어떠한가? 무작위 기준보다 높은가?
• RQ5 혼동 행렬은 특정 정서 클래스를 인식하는 데 어려움을 어떻게 반영하며, 이는 신경 패턴에 대해 어떤 함의를 갖는가?

주요 결과

• 단모달 DAE는 SEED 데이터셋에서 82.11%의 정확도를 기록했으며, 원시 EEG 특징을 직접 사용한 경우(78.51%)보다 높은 성능을 보였다.
• BDAE 모델은 SEED 데이터셋에서 평균 91.01%의 정확도와 DEAP 데이터셋에서 83.25%의 정확도를 달성하여 최신 기술 수준(SOTA) 접근법을 초월하였다.
• 교차모달 학습에서 뇌파 기반 DAE 표현을 사용해 눈동자 움직임 데이터를 분류한 결과, 평균 66.34%의 정확도를 기록했으며, 이는 33.33%의 무작위 기준보다 유의미하게 높았다.
• 혼동 행렬 분석 결과, 부정적 정서가 가장 분류하기 어려운 것으로 나타났고, 반면 긍정적 정서는 가장 높은 인식률(다중모달 융합 시 99.03%)을 보였다.
• 공유 표현을 사용할 경우 실험 간 표준편차가 감소하여 모델의 신뢰성이 향상됨을 확인하였다.
• 결과는 공유 표현이 뇌파 및 눈동자 움직임 모달 간의 고수준이고 공통적인 정서적 특징을 효과적으로 포착하며, 이로 인해 효과적인 교차모달 전이가 가능하다는 것을 시사한다.