[논문 리뷰] Utilizing Deep Learning Towards Multi-modal Bio-sensing and Vision-based Affective Computing

Siddharth Siddharth, Tzyy‐Ping Jung외 1명|arXiv (Cornell University)|2019. 05. 16.

Emotion and Mood Recognition참고 문헌 62인용 수 13

한 줄 요약

이 논문은 다중 모odal 생체 센싱(EEG, ECG, GSR, PPG) 및 영상 데이터로부터 분류 가능한 특징을 추출하기 위해 사전 훈련된 컨volutional 네트워크를 활용하는 딥러닝 프레임워크를 제안한다. 이는 DEAP 및 MAHNOB-HCI 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전 연구에 비해 평가, 자극, 선호도 분류에서 뛰어난 성능을 보이며, 감정 상태와 관련된 주요 뇌 영역을 국소화하기 위한 새로운 컨volution-디컨볼루션 네트워크를 도입한다.

ABSTRACT

In recent years, the use of bio-sensing signals such as electroencephalogram (EEG), electrocardiogram (ECG), etc. have garnered interest towards applications in affective computing. The parallel trend of deep-learning has led to a huge leap in performance towards solving various vision-based research problems such as object detection. Yet, these advances in deep-learning have not adequately translated into bio-sensing research. This work applies novel deep-learning-based methods to various bio-sensing and video data of four publicly available multi-modal emotion datasets. For each dataset, we first individually evaluate the emotion-classification performance obtained by each modality. We then evaluate the performance obtained by fusing the features from these modalities. We show that our algorithms outperform the results reported by other studies for emotion/valence/arousal/liking classification on DEAP and MAHNOB-HCI datasets and set up benchmarks for the newer AMIGOS and DREAMER datasets. We also evaluate the performance of our algorithms by combining the datasets and by using transfer learning to show that the proposed method overcomes the inconsistencies between the datasets. Hence, we do a thorough analysis of multi-modal affective data from more than 120 subjects and 2,800 trials. Finally, utilizing a convolution-deconvolution network, we propose a new technique towards identifying salient brain regions corresponding to various affective states.

연구 동기 및 목표

• 데이터 부족 및 데이터셋 간 일관성 부족으로 인해 딥러닝의 생체 센싱 기반 정서 컴퓨팅 응용이 제한된 점을 해결한다.
• 딥러닝을 활용해 EEG, ECG, GSR, PPG, 영상 등 다양한 모달리티의 특징을 융합함으로써 정서 분류 성능을 향상시킨다.
• 전이 학습 및 교차 데이터셋 훈련을 통해 데이터셋 간 일관성 문제를 완화하고 모델의 일반화 능력을 향상시킨다.
• EEG 파wer 스펙트럼 밀도(PSD) 이미지를 사용하여 감정 상태와 가장 관련 깊은 뇌 영역을 식별하기 위해 새로운 컨볼루션-디컨볼루션 네트워크를 개발한다.
• 이전에 탐색이 부족했던 AMIGOS 및 DREAMER 데이터셋에 대해 새로운 기준을 설정한다.

제안 방법

• 영상 데이터 및 EEG-PSD 이미지에서 깊은 특징을 추출하기 위해 사전 훈련된 VGG 네트워크를 사용하고, 이를 전이 학습 파ipeline의 입력으로 간주한다.
• 모달리티별 특징(EEG, ECG, GSR, PPG, 영상)을 후기 융합 전략을 통해 융합하여 분류 정확도를 향상시킨다.
• 각 시험에서 특징의 시간적 동역학을 모델링하기 위해 장기 단기 기억(LSTM) 네트워크를 활용하여 단순 평균화보다 성능을 향상시킨다.
• 이중 브랜치 컨볼루션-디컨볼루션 네트워크를 설계: 정적 브랜치는 개별 EEG-PSD 이미지에서 사전적 특징을 탐지하고, 동적 브랜치는 연속된 초 간 시간적 변동을 포착한다.
• 10-20 EEG 전극 위치에서 유도된 RGB 복합 EEG-PSD 맵을 사전적 특징 네트워크의 입력으로 사용하며, 픽셀 값은 0에서 1로 정규화한다.
• 각 정서 상태(예: 높은 vs. 낮은 평가/자극)에 대해 모든 시험에서 사전적 특징 출력을 평균화하여 특정 정서에 가장 민감한 뇌 영역을 나타내는 뇌 지도를 생성한다.

실험 결과

연구 질문

• RQ1 다중 모달 생체 센싱 및 영상 데이터로부터 딥러닝 기반 특징 추출이 기존 수작업 특징 추출 기법보다 정서 상태 분류에서 뛰어난 성능을 내는가?
• RQ2 EEG, ECG, GSR, PPG 및 영상 모달리티 간 특징 융합이 평가, 자극, 선호도 차원의 분류 정확도를 어떻게 향상시키는가?
• RQ3 전이 학습 및 교차 데이터셋 훈련을 통해 다양한 정서 컴퓨팅 데이터셋(예: DEAP, AMIGOS, DREAMER) 간의 일관성 문제를 어느 정도 완화할 수 있는가?
• RQ4 어떤 뇌 영역이 특정 정서 상태에 가장 민감한가? 그리고 딥러닝 기반 사전적 특징 네트워크를 통해 이들을 신뢰성 있게 국소화할 수 있는가?
• RQ5 LSTM을 활용해 시간적 동역학을 모델링하면 단순 특징 집합 평균화보다 분류 성능이 향상되는가?

주요 결과

• 제안된 방법은 DEAP 및 MAHNOB-HCI 데이터셋에서 최신 기술 수준의 성능를 달성하였으며, 평가, 자극, 선호도 분류에서 이전에 보고된 결과를 모두 초월하였다.
• 다양한 모달리티 간 특징 융합은 단일 모달리티 모델 대비 분류 정확도를 크게 향상시켰으며, 특히 영상 및 EEG 특징이 성능 향상에 가장 기여하였다.
• 시간적 동역학을 모델링하기 위해 LSTM을 사용한 결과, 단순 특징 평균화보다 높은 분류 정확도를 달성하였다.
• 데이터셋 간 전이 학습(예: DEAP에서 훈련하고 AMIGOS 또는 DREAMER에서 테스트)을 통해 강건성과 일반화 능력이 입증되었으며, 데이터셋 특유의 일관성 문제를 완화하였다.
• 컨볼루션-디컨볼루션 사전적 특징 네트워크는 주로 전두엽 및 체성엽(예: FC3, FCz, Cz, FC4)에서 뇌 활동을 국소화하였으며, 이는 정서 처리의 알려진 신경해부학적 패턴과 일치하였다.
• 고자극과 저자극 조건 간의 차이 이미지 분석 결과, 평가보다 자극 처리에서 더 넓은 분포의 사전적 뇌 영역이 관찰되어 자극 처리 과정에서 더 광범위한 신경 기반 참여가 있음을 시사하였다.