[논문 리뷰] The Spatial Real and Virtual Sound Stimuli Optimization for the Auditory BCI

Nozomu Nishikawa, Y. Matsumoto외 2명|arXiv (Cornell University)|2012. 10. 10.

Vehicle Noise and Vibration Control참고 문헌 9인용 수 7

한 줄 요약

이 논문은 청각 BCI(aBCI)를 위한 가상의 공간 음향 자극을 생성하기 위해 수정된 벡터 기반 앰플리튜드 패닝(VBAP) 방법을 제안한다. 이는 더 적은 수의 loudspeaker를 사용하여 다중 명령 제어를 가능하게 한다. 연구 결과, 가상의 음향 영상은 실제 음원과 유사한 P300 뇌 반응을 유도하며, 음향의 깊이(음량 조절을 통한)가 P300의 진폭에 크게 기여함을 확인하여, 높은 용량의 스피커 독립형 aBCI 시스템의 실현 가능성을 뒷받침한다.

ABSTRACT

The paper presents results from a project aiming to create horizontally distributed surround sound sources and virtual sound images as auditory BCI (aBCI) stimuli. The purpose is to create evoked brain wave response patterns depending on attended or ignored sound directions. We propose to use a modified version of the vector based amplitude panning (VBAP) approach to achieve the goal. The so created spatial sound stimulus system for the novel oddball aBCI paradigm allows us to create a multi-command experimental environment with very encouraging results reported in this paper. We also present results showing that a modulation of the sound image depth changes also the subject responses. Finally, we also compare the proposed virtual sound approach with the traditional one based on real sound sources generated from the real loudspeaker directions. The so obtained results confirm the hypothesis of the possibility to modulate independently the brain responses to spatial types and depths of sound sources which allows for the development of the novel multi-command aBCI.

연구 동기 및 목표

• 가상의 음향 영상 기반으로 물리적 loudspeaker 의존도를 줄인 다중 명령 청각 BCI 시스템 개발
• 가상의 음향 자극이 EEG 기반 BCI 파라다임에서 실제 음원과 유사한 P300 반응을 유도할 수 있는지 조사
• 음향 영상의 깊이(음량 조절을 통한)가 P300 반응 진폭과 분리 가능성에 미치는 영향 분석
• 다양한 음색이 aBCI 환경에서 심리물리적 및 신경 반응에 미치는 영향 조사
• 공간적 및 깊이 기반 조절을 활용한 확장 가능하고 스피커 효율적인 aBCI 시스템의 실현 가능성 검증

제안 방법

• 8개의 정오각형 배열 loudspeaker를 사용하여 MAX/MSP 환경에 수정된 VBAP 알고리즘을 구현하여 가상의 음향 소스 생성
• 벡터 기반의 앰플리튜드 가중치를 사용해 인접한 loudspeaker 쌍 간에 음향을 패닝함으로써 계산을 단순화하고 수평 방향 정밀한 국소화 구현
• 실험 조건에서 직접 비교를 위해 실제 음향 자극(물리적 loudspeaker에서 발생)과 가상 음향 자극(VBAP를 통한)을 모두 생성
• 음향의 깊이를 음원의 볼륨 수준 조절을 통해 조작하여 더 가까운 또는 더 먼 공간 위치를 시뮬레이션
• 오프라인 saBCI 모드에서 EEG 데이터를 수집하고, MEMD를 사용해 아티팩트를 제거하고, 피크 간 차이 기반 임계값 설정을 통해 눈 깜빡임 및 근육 운동 아티팩트를 식별하고 제거
• 전극 및 조건 간에 대상(주의한) 및 비대상(무시한) 음향 자극 간 평균 ERP 파형을 비교하여 P300 반응의 분리 가능성 평가

실험 결과

연구 질문

• RQ1 실제 음향 대비 가상 음향 영상으로 구현된 공간 음향 전달 시스템이 P300 반응 진폭과 분리 가능성에 유의미한 영향을 미치는가?
• RQ2 음향 자극의 음색이 aBCI 파라다임에서 행동적 또는 신경 반응에 영향을 미치는가?
• RQ3 음향 영상의 깊이를 음량 조절로 조절함으로써 P300 반응의 진폭 또는 형태가 변화하는가?
• RQ4 가상 음향 영상이 다중 명령 aBCI 환경에서 실제 음원과 유사한 P300 반응을 안정적으로 유도할 수 있는가?
• RQ5 가까운(더 크게 들리는) 및 먼(더 작게 들리는) 음원 간에 P300 반응 강도에 측정 가능한 차이가 존재하는가?

주요 결과

• 더 멀리 떨어진(조용한) 음원에서의 P300 반응 진폭이 더 가까운(크게 들리는) 음원보다 유의미하게 크며, 이는 깊이 조절이 신경적 분리 가능성 향상에 기여함을 시사한다.
• 실제 음향 자극과 가상 음향 자극 간에 심리물리적 반응에 유의미한 차이가 없었으며, 이는 동일한 인지 성능을 의미한다.
• EEG 결과, 실제 및 가상 음향 자극 모두 강력하고 분리 가능한 P300 반응이 관찰되어 가상 음향이 aBCI 적용에 유효함을 확인한다.
• 수정된 VBAP 방법은 최소한의 계산 오버헤드로 안정적이고 공간적으로 정확한 가상 음향 영상 생성에 성공했다.
• MEMD 및 피크 간 차이 기반 임계값을 통한 아티팩트 제거 방법이 눈 깜빡임 및 근육 운동 아티팩트를 효과적으로 제거하여 깨끗한 ERP 파형 유지에 기여했다.
• 방향에 따라 P300 반응의 변화가 유의미하게 관찰되지 않아, 다중 명령 BCI 설계에 있어 자극 시스템의 강건성을 뒷받침한다.