[논문 리뷰] EEG2Mel: Reconstructing Sound from Brain Responses to Music

Adolfo G. Ramirez-Aristizabal, Chris Kello|arXiv (Cornell University)|2022. 07. 28.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

이 논문은 EEG 신호에서 시간이 일치하는 1초 단위의 EEG와 스펙트로그램 쌍을 사용하여 청각적으로 인지 가능한 음악을 복원하는 딥러닝 프레임워크인 EEG2Mel을 제안한다. EEG 파wer 스펙트럼과 멜-스펙트로그램을 2차원 이미지로 간주하여, CNN 회귀기 모델이 이중 대안 일치 테스트에서 청취자 식별 정확도 85%를 달성함으로써, 철저한 사전 처리 없이 뇌 활동으로부터 고해상도 청각 복원이 가능함을 입증한다.

ABSTRACT

Information retrieval from brain responses to auditory and visual stimuli has shown success through classification of song names and image classes presented to participants while recording EEG signals. Information retrieval in the form of reconstructing auditory stimuli has also shown some success, but here we improve on previous methods by reconstructing music stimuli well enough to be perceived and identified independently. Furthermore, deep learning models were trained on time-aligned music stimuli spectrum for each corresponding one-second window of EEG recording, which greatly reduces feature extraction steps needed when compared to prior studies. The NMED-Tempo and NMED-Hindi datasets of participants passively listening to full length songs were used to train and validate Convolutional Neural Network (CNN) regressors. The efficacy of raw voltage versus power spectrum inputs and linear versus mel spectrogram outputs were tested, and all inputs and outputs were converted into 2D images. The quality of reconstructed spectrograms was assessed by training classifiers which showed 81% accuracy for mel-spectrograms and 72% for linear spectrograms (10% chance accuracy). Lastly, reconstructions of auditory music stimuli were discriminated by listeners at an 85% success rate (50% chance) in a two-alternative match-to-sample task.

연구 동기 및 목표

• 청취 중 피실험자가 수동적으로 반응하는 EEG 반응에서 자연스럽고 전곡 길이의 음악 자극을 복원하는 방법을 개발하는 것.
• 이전 연구의 한계를 극복하기 위해, 단순 분류나 저해상도 신호 복원을 넘어서 청각적으로 인지 가능하고 식별 가능한 음악 복원을 가능하게 하는 것.
• EEG 파워 스펙트럼을 직접 딥러닝 모델의 입력으로 사용함으로써 철저한 기능 추출 과정을 제거하는 것.
• 실제 인간 참가자들이 참여하는 청취 작업을 통해 복원된 음악의 청각적 품질을 검증하는 것.
• 컴퓨터 비전 기법을 시간적 시계열 신경 및 음악 데이터에 적용하여 이중 도메인 신호 복원의 가능성을 입증하는 것.

제안 방법

• 63채널의 EEG 신호가 각 1초 윈도우마다 2차원 파워 스펙트럼 이미지로 변환되었으며, 이는 해당 음악 스펙트로그램과 시간적으로 정렬되었다.
• NMED-Tempo 및 NMED-Hindi 데이터셋을 사용하여, EEG 파워 스펙트럼 이미지를 멜-스펙트로그램 이미지로 매핑하는 딥러닝 CNN 회귀기 모델이 훈련되었다.
• 모델 아키텍처에는 배치 정규화를 포함한 다수의 2차원 합성곱 레이어, 최대 풀링, 완전 연결 레이어가 포함되었으며, 스펙트로그램을 재구성하기 위해 리쉐이프 연산이 수행되었다.
• 정규화 해제 후, 그리프린-림 알고리즘을 사용하여 스펙트로그램을 웨이브폼으로 복원하였다. 이 과정에서 음악 별 참조 dB 값에 따라 정규화를 해제하여 청각적 잡음 요소를 줄였다.
• 입력 데이터는 최소-최대 스케일링을 통해 정규화되었으며, 출력 스펙트로그램은 음악 별 참조 dB 값에 따라 정규화를 해제하여 음질을 향상시켰다.
• 복원 품질 평가를 위해 16명의 참가자가 참여한 이중 대안 강제 선택 청취 테스트를 실시하여 원본 음악과의 청각적 유사도를 평가하였다.

실험 결과

연구 질문

• RQ1 반복적인 자극 평균화나 짧은 부스터 없이도 EEG 신호로 전곡 길이의 청각적으로 인지 가능한 음악 자극을 복원할 수 있는가?
• RQ2 EEG 파워 스펙트럼에 기반해 훈련된 딥러닝 모델이 멜-스펙트로그램을 얼마나 잘 복원할 수 있는가? 이로 인해 청취 가능하고 식별 가능한 음악을 생성할 수 있는가?
• RQ3 EEG와 스펙트로그램 데이터를 2차원 이미지로 표현하는 것이 기존의 시계열 모델링 방식보다 성능 향상과 더 단순한 훈련을 가능하게 하는가?
• RQ4 입력(원시 전압 대 파워 스펙트럼)과 출력(선형 스펙트로그램 대 멜-스펙트로그램)의 선택이 복원 품질에 어떤 영향을 미치는가?
• RQ5 청취자들이 청각적 차별 테스트에서 복원된 음악을 원본 자극과 일치하는 것으로 신뢰성 있게 식별할 수 있는가?

주요 결과

• 하위 분류기로 복원된 멜-스펙트로그램을 분류한 결과, 81%의 정확도를 기록하였으며, 이는 10%의 우연 기대 수준보다 유의미하게 높았다.
• 선형 스펙트로그램 복원은 72%의 분류 정확도를 기록하였으며, 이 역시 우연 수준을 초월하여 부분적이나마 신호 복원이 이루어졌음을 시사한다.
• 이중 대안 일치 테스트에서 청취자들은 85%의 정확도로 원본 음악을 정확히 식별하였으며, 이는 50%의 우연 수준을 크게 초월하였다.
• 멜-스펙트로그램 출력을 사용함으로써 선형 스펙트로그램 대비 더 높은 청각적 품질을 확보하였으며, 이는 청각 복원에 멜-스케일을 사용하는 것이 타당함을 뒷받침한다.
• 정규화 해제 과정에서 음악 별 참조 dB 값을 사용함으로써 복원 품질이 향상되었으며, 청각적 잡음 요소가 감소하였다.
• 이 방법은 전체 음악 길이 동안 시간적 동역학과 주파수 성분을 잘 유지하여, 일관되고 식별 가능한 오디오 출력을 성공적으로 생성하였다.