[논문 리뷰] Complex Emotion Recognition System using basic emotions via Facial Expression, EEG, and ECG Signals: a review

Javad Hassannataj Joloudari, Mohammad Maftoun외 3명|arXiv (Cornell University)|2024. 09. 09.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

이 리뷰는 머신러닝, 딥러닝, 메타러닝을 활용하여 얼굴 표정, 뇌전도(EEG), 심전도(ECG) 신호를 융합하는 복합정서인식시스템(CERS)을 제안한다. 이로 인해 복잡한 정서 상태의 인식 정확도와 신뢰성이 향상되며, 특히 데이터가 부족한 상황에서 일반화 능력과 성능 향상을 위한 핵심 수단으로서 메타러닝의 잠재력이 부각된다.

ABSTRACT

The Complex Emotion Recognition System (CERS) deciphers complex emotional states by examining combinations of basic emotions expressed, their interconnections, and the dynamic variations. Through the utilization of advanced algorithms, CERS provides profound insights into emotional dynamics, facilitating a nuanced understanding and customized responses. The attainment of such a level of emotional recognition in machines necessitates the knowledge distillation and the comprehension of novel concepts akin to human cognition. The development of AI systems for discerning complex emotions poses a substantial challenge with significant implications for affective computing. Furthermore, obtaining a sizable dataset for CERS proves to be a daunting task due to the intricacies involved in capturing subtle emotions, necessitating specialized methods for data collection and processing. Incorporating physiological signals such as Electrocardiogram (ECG) and Electroencephalogram (EEG) can notably enhance CERS by furnishing valuable insights into the user's emotional state, enhancing the quality of datasets, and fortifying system dependability. A comprehensive literature review was conducted in this study to assess the efficacy of machine learning, deep learning, and meta-learning approaches in both basic and complex emotion recognition utilizing EEG, ECG signals, and facial expression datasets. The chosen research papers offer perspectives on potential applications, clinical implications, and results of CERSs, with the objective of promoting their acceptance and integration into clinical decision-making processes. This study highlights research gaps and challenges in understanding CERSs, encouraging further investigation by relevant studies and organizations. Lastly, the significance of meta-learning approaches in improving CERS performance and guiding future research endeavors is underscored.

연구 동기 및 목표

• 얼굴 표정, EEG, ECG 신호의 융합을 통해 복합정서인식을 향상시키는 것을 탐구한다.
• 기본정서와 복합정서 인식에서 머신러닝, 딥러닝, 메타러닝의 효과성을 평가한다.
• CERS의 데이터 수집, 데이터셋 크기, 시스템 신뢰성 분야에서의 연구 격차와 과제를 규명한다.
• CERS의 임상적 응용 및 영향을 정서계산 및 의사결정 과정에 대해 탐색한다.
• 저데이터 환경에서 모델의 일반화 능력과 성능 향상을 위해 메타러닝을 적극적으로 권장한다.

제안 방법

• EEG, ECG, 얼굴 표정 데이터셋을 활용한 정서인식 연구에 대한 종합적인 문헌 리뷰를 수행하였다.
• 기본정서 및 복합정서 인식 과제에서 머신러닝, 딥러닝, 메타러닝 모델의 적용을 분석하였다.
• 얼굴 표정, EEG, ECG 신호를 융합하는 다중모달 융합 기법이 시스템 정확도와 내구성에 미치는 영향을 평가하였다.
• 선택된 연구들에서의 데이터 수집 방법, 사전처리 파이프라인, 특징 추출 전략을 평가하였다.
• 정확도, F1-스코어, AUC와 같은 성능 지표를 다양한 모델과 데이터셋 간 비교하였다.
• 제한된 레이블 데이터로 새로운 정서인식 과제에 적응할 수 있는 메타러닝 접근법의 능력을 검토하였다.

실험 결과

연구 질문

• RQ1 얼굴 표정, EEG, ECG를 융합하는 다중모달 융합 접근법은 복합정서 인식에 얼마나 효과적인가?
• RQ2 전통적 머신러닝, 딥러닝, 메타러닝 간의 복합정서 인식 성능 차이는 무엇인가?
• RQ3 복합정서인식을 위한 고품질 데이터셋 수집 및 처리에서 주요 과제는 무엇인가?
• RQ4 ECG 및 EEG와 같은 생리신호는 정서인식 시스템의 신뢰성과 심도를 어떻게 향상시키는가?
• RQ5 저데이터 또는 복잡한 정서인식 시나리오에서 메타러닝은 모델의 일반화 능력과 성능 향상에 어떻게 기여하는가?

주요 결과

• 얼굴 표정, EEG, ECG 신호의 융합은 복합정서인식 시스템의 정확도와 내구성을 크게 향상시킨다.
• 딥러닝 모델은 다중모달 정서 데이터에서 복잡한 비선형 패턴을 더 잘 포착하여 전통적 머신러닝 방법보다 뛰어난 성능을 보인다.
• 메타러닝 접근법은 특히 저데이터 또는 소수의 샘플로 이루어진 학습 환경에서 모델의 일반화 능력을 향상시키는 데 강력한 잠재력을 보인다.
• 다양한 인구 집단에서 미세한 정서 상태를 캡처하는 데 복잡성으로 인해 대규모 고품질 데이터셋 확보가 여전히 핵심적이고 제약적인 문제이다.
• ECG 및 EEG와 같은 생리신호는 정서 분류의 모호성을 줄이고 시스템의 신뢰성을 향상시키는 가치 있는 보완 정보를 제공한다.
• CERS의 임상적 응용 가능성은 높지만, 광범위한 도입을 위해 더 많은 검증과 의사결정 워크플로우에의 통합이 필요하다.