[논문 리뷰] Music of Brain and Music on Brain: A Novel EEG Sonification approach

Sayan Nag, Shankha Sanyal외 3명|arXiv (Cornell University)|2017. 12. 22.

Complex Systems and Time Series Analysis참고 문헌 15인용 수 3

한 줄 요약

이 연구는 뇌 활동(EEG)과 외부 음악 자극 간의 직접적 상관관계를 탐색하기 위해 다중분형 잔차상관분석(MFDXA)을 사용하는 새로운 EEG 음향화 기법을 제안한다. 음악 자극은 뇌의 여러 영역을 고유하게 활성화시키며, 음향화된 EEG와 탄푸라 드론 간에 유의미한 상관관계를 보이며, 비음악적 자극에서는 관찰되지 않는 특이한 신경생리학적 반응을 드러낸다.

ABSTRACT

Can we hear the sound of our brain? Is there any technique which can enable us to hear the neuro-electrical impulses originating from the different lobes of brain? The answer to all these questions is YES. In this paper we present a novel method with which we can sonify the Electroencephalogram (EEG) data recorded in rest state as well as under the influence of a simplest acoustical stimuli - a tanpura drone. The tanpura drone has a very simple yet very complex acoustic features, which is generally used for creation of an ambiance during a musical performance. Hence, for this pilot project we chose to study the correlation between a simple acoustic stimuli (tanpura drone) and sonified EEG data. Till date, there have been no study which deals with the direct correlation between a bio-signal and its acoustic counterpart and how that correlation varies under the influence of different types of stimuli. This is the first of its kind study which bridges this gap and looks for a direct correlation between music signal and EEG data using a robust mathematical microscope called Multifractal Detrended Cross Correlation Analysis (MFDXA). For this, we took EEG data of 10 participants in 2 min 'rest state' (i.e. with white noise) and in 2 min 'tanpura drone' (musical stimulus) listening condition. Next, the EEG signals from different electrodes were sonified and MFDXA technique was used to assess the degree of correlation (or the cross correlation coefficient) between tanpura signal and EEG signals. The variation of γx for different lobes during the course of the experiment also provides major interesting new information. Only music stimuli has the ability to engage several areas of the brain significantly unlike other stimuli (which engages specific domains only).

연구 동기 및 목표

• 뇌 전기 활동(EEG)과 음향 자극, 특히 탄푸라 드론 간의 직접적 상관관계를 조사하기 위해.
• 뇌 신호를 청각적 소리로 변환하여 청각적 분석이 가능한 새로운 EEG 음향화 기법을 개발하고 적용하기 위해.
• 다중분형 상관분석을 사용해 음악 자극과 비음악적 자극에 대한 다양한 뇌 영역의 반응을 평가하기 위해.
• 다른 자극에 비해 고유하게 다수의 뇌엽을 활성화시키는지, 또는 국소적인 도메인 특이적 반응을 보이는지 확인하기 위해.
• 수학적 도구인 MFDXA를 활용해 뇌-음악 상호작용을 연구하는 새로운 방법론 프레임워크를 제공하기 위해.

제안 방법

• 10명의 참가자가 두 가지 조건에서 EEG 데이터를 수집함: 2분간의 휴식 상태(while white noise)와 2분간의 탄푸라 드론 청취.
• 다양한 전극에서 기록된 EEG 신호는 전압 진폭을 음향 주파수와 강도로 변환하는 음향화 과정을 거쳐 청각적 소리로 변환됨.
• 음향화된 EEG 신호와 탄푸라 음악 신호 간의 상관관계를 정량화하기 위해 다중분형 잔차상관분석(MFDXA)을 적용함.
• 분석은 다양한 뇌엽에 중점을 두어, 다양한 척도와 영역 간의 상호의존성을 평가하기 위해 교차상관계수 γx를 계산함.
• 휴식 상태와 음악 노출 중의 EEG와 음악 자극 간의 다중분형 상관관계 행동을 비교하여 뇌 활동의 동적 변화를 탐지함.
• 뇌엽 간 γx 값의 통계적 분석을 통해 다양한 자극 조건에서 신경전기 반응 패tern의 변동성을 확인함.

실험 결과

연구 질문

• RQ1 EEG 신호는 뇌 활동의 청각적 패턴을 드러내기 위해 효과적으로 음향화될 수 있는가?
• RQ2 음악 자극(탄푸라 드론)과 EEG 간의 상관관계는 뇌의 다양한 영역에서 어떻게 변화하는가?
• RQ3 음악 자극은 비음악적 자극보다 더 넓고 분산된 뇌 활성화를 유도하는가?
• RQ4 다중분형 역학은 뇌 신호와 외부 음악 간의 미세한 상관관계를 탐지하는 데 어떤 역할을 하는가?
• RQ5 휴식 상태와 음악 청취 중 뇌엽 간 γx 값은 어떻게 변화하며, 이는 신경생리학적 참여를 어떻게 나타내는가?

주요 결과

• MFDXA 분석은 음향화된 EEG 신호와 탄푸라 드론 간에 뚜렷하고 지속적인 상관관계를 보여, 강한 뇌-음향 결합을 시사한다.
• 음악 자극은 뇌의 여러 영역을 고유하게 활성화시키며, 비음악적 자극은 국소적인 특정 영역만을 자극함.
• 음악 노출 중 뇌엽 간 γx 값은 의미 있는 차이를 보이며, 청각 자극에 대한 영역 특이적 반응을 시사함.
• 음향화 과정은 원시 EEG 데이터를 청각적으로 해석 가능한 오디오로 성공적으로 변환하여 실시간 신경 동역학 해석이 가능하게 함.
• 이 연구는 MFDXA를 사용해 자연적인 음악 자극과 다중분형 EEG 동역학 간의 직접적이고 정량적인 상관관계를 처음으로 입증함.
• 결과는 음악이 뇌의 다양한 신경망을 동기화하고 통합적으로 활성화시키는 고유한 능력을 지닌다는 것을 시사한다.