[논문 리뷰] Fusion of EEG and Musical Features in Continuous Music-emotion Recognition

Nattapong Thammasan, Ken–ichi Fukui외 1명|arXiv (Cornell University)|2016. 11. 30.

Emotion and Mood Recognition참고 문헌 17인용 수 3

한 줄 요약

이 연구는 연속적인 음악-감정 인식을 위해 각성-가치 차원을 사용하여 뇌전도(EEG)와 음악적 특징의 후기 융합을 제안한다. 슬라이딩 윈도우 기반의 의사결정 수준 융합을 적용하여, 음악적 특징이 EEG만 사용할 경우보다 성능이 뛰어나며, 특히 피험자 독립적 설정에서 뛰어나게 나타나며, 융합은 상호보완적 정보를 활용함으로써 성능을 약간 향상시킨다. 다만 EEG의 피험자 간 변동성은 여전히 존재한다.

ABSTRACT

Emotion estimation in music listening is confronting challenges to capture the emotion variation of listeners. Recent years have witnessed attempts to exploit multimodality fusing information from musical contents and physiological signals captured from listeners to improve the performance of emotion recognition. In this paper, we present a study of fusion of signals of electroencephalogram (EEG), a tool to capture brainwaves at a high-temporal resolution, and musical features at decision level in recognizing the time-varying binary classes of arousal and valence. Our empirical results showed that the fusion could outperform the performance of emotion recognition using only EEG modality that was suffered from inter-subject variability, and this suggested the promise of multimodal fusion in improving the accuracy of music-emotion recognition.

연구 동기 및 목표

• EEG와 음악적 특징을 융합함으로써 연속적인 음악-감정 인식이 향상되는지 조사하는 것.
• 의사결정 수준 융합이 피험자 의존적 및 피험자 독립적 감정 분류에 미치는 영향을 평가하는 것.
• 각 모odal의 기여도와 슬라이딩 윈도우 크기가 분류 성능에 미치는 영향을 분석하는 것.
• 뇌전도의 피험자 간 변동성과 음악 청취 중 감정의 시간에 따라 변화하는 특성과 같은 과제를 다루는 것.

제안 방법

• 12명의 남성 피험자로부터 10-20 체계를 사용한 12개 전극를 통해 전 frontal 영역에 연관된 감정 조절과 관련된 뇌전도 신호를 기록하였다.
• 음악적 특징은 가사의 영향을 제거하기 위해 MIDI 파일에서 추출하여 표현된 감정을 나타내었다.
• 뇌전도 신호에는 0.5–60 Hz 대역통과 필터를 적용하였고, 눈동자 움직임 잡음은 EEGLAB를 통해 ICA를 사용하여 제거하였다.
• 시간에 따라 변화하는 감정은 연속적인 이진 분류를 위한 각성-가치 차원으로 모델링되었다.
• EEG와 음악의 특징은 가중 평균을 사용하여 의사결정 수준에서 융합되었으며, 가중 요소(α)를 체계적으로 변화시켰다.
• 분류 성능 평가는 다양한 슬라이딩 윈도우 크기(1–9초)에서 10중 분류 교차검증을 통해 평가되었다.

실험 결과

연구 질문

• RQ1 의사결정 수준 융합을 통해 EEG와 음악적 특징을 융합하면 단모달 접근 방식에 비해 연속적인 음악-감정 인식 성능이 향상되는가?
• RQ2 EEG의 피험자 간 변동성이 감정 분류 모델의 성능에 어떤 영향을 미치는가?
• RQ3 음악 청취 중 시간에 따라 변화하는 감정 반응을 캡처하기 위해 최적의 슬라이딩 윈도우 크기는 무엇인가?
• RQ4 융합에서 EEG와 음악적 특징의 기여도는 어떻게 달라지며, 어떤 가중치가 성능를 가장 잘 균형 잡는가?
• RQ5 EEG를 포함함으로써 피험자 독립적 감정 인식 성능가 향상되는가, 아니면 음악 단모달이 더 강건한가?

주요 결과

• 모든 피험자 독립적 분류 과제에서 음악 모달이 EEG보다 유의미하게 높은 정확도와 MCC를 달성하였다.
• EEG 모달은 모든 경우에서 가장 열악한 성능를 보였으며, 특히 피험자 독립적 설정에서 높은 피험자 간 변동성으로 인해 성능이 떨어졌다.
• 의사결정 수준 융합은 단모달 음악 특징에 비해 약간의 성능 향상을 보였으며, 음악 특징이 더 큰 기여를 할 경우(α < 0.5) 최고의 성능를 기록하였다.
• 피험자 의존적 분류에서는 최적의 슬라이딩 윈도우 크기가 2초였고, 피험자 독립적 분류에서는 9초였지만, 다양한 크기에서 성능가 안정적이었다.
• EEG 특징의 기여도는 그 가중치(α)가 증가할수록 성능이 떨어졌으며, 특히 피험자 독립적 각성 분류에서 두드러졌다.
• 피험자 의존적 결과에서는 고 α 값에서 변동성이 더 컸으며, 이는 일부 개인에서 EEG가 각성에 대해 더 유용할 수 있음을 시사한다.