[논문 리뷰] Spatial Auditory Brain-computer Interface using Head Related Impulse Response

Chisaki Nakaizumi, Toshie Matsui외 3명|arXiv (Cornell University)|2015. 01. 19.

EEG and Brain-Computer Interfaces참고 문헌 4인용 수 4

한 줄 요약

이 연구는 헤드폰을 통해 3차원 음향 위치 감지를 시뮬레이션하기 위해 머리관련 인파르스 응답(HRIRs)을 사용하는 공간적 청각 뇌-컴퓨터 인터페이스(BCI)를 소개한다. 이는 안정적이고 정확한 P300 스펠러 파라다임을 가능하게 한다. 11명의 사용자와 수행된 실험에서 HRIR 기반의 공간화된 음향은 일관되고 강력한 P300 반응을 유도하였으며, 건강한 사용자를 대상으로 다중 스피커 BCI 시스템의 실용적인 헤드폰 기반 대체 기술임을 입증하였다.

ABSTRACT

This study reports on a head related impulse response (HRIR) application to an auditory spatial brain-computer interface (BCI) speller paradigm. Six experienced and five BCI-naive users participated in an experimental spelling set up based on five Japanese vowels. Obtained auditory evoked potentials resulted with encouragingly good and stable P300-responses in online BCI experiments. Our case study indicated that the headphone reproduced auditory (HRIR- based) spatial sound paradigm could be a viable alternative to the established multi-loudspeaker surround sound BCI-speller applications, as far as healthy pilot study users are concerned.

연구 동기 및 목표

• 헤드폰 기반 청각 BCI를 개발하여 머리관련 인파르스 응답(HRIRs)을 활용해 공간 음향을 시뮬레이션함으로써 사용자 경험 향상과 시스템 이동성 향상을 도모한다.
• HRIR 기반 공간화된 청각 자극이 BCI 스펠러 작업에서 신뢰할 수 있는 P300 반응을 유도할 수 있는지의 가능성과 성능을 평가한다.
• 기존의 다중 스피커 시스템과 비교하여 건강한 사용자에서의 사용성과 신호 안정성에 중점을 두고 HRIR 기반 청각 BCI의 성능을 평가한다.
• 공간화된 음향을 사용한 온라인 BCI 실험에서 청각 유도 전위(P300)의 강건성과 일관성을 평가한다.
• 주변 스피커 기반 BCI 시스템에 대한 확장 가능하고 사용자 友好的한 대안으로서 HRIR 기반 음향의 잠재력을 탐색한다.

제안 방법

• 연구자들은 청각 자극에 머리관련 인파르스 응답(HRIRs)을 적용하여 헤드폰을 통해 이앙(바이널) 공간 음향 신호를 생성함으로써 방향성 청각 자극을 시뮬레이션하였다.
• 5개의 일본어 모음으로 구성된 P300 스펠러 파라다임을 구현하였으며, 각 모음은 다른 가상 위치에 공간화된 청각 자극으로 제시되었다.
• 청각 자극은 HRIR 필터링을 통해 헤드폰을 통해 제공되어 3차원 공간에서의 음향 위치 감지를 시뮬레이션하였으며, 자연스러운 청각 인지와 유사하게 구현되었다.
• 사건 관련 전위(ERP)를 기록하기 위해 뇌전도측정(EEG)을 사용하였으며, 특히 목표 자극에 대한 반응으로서 P300 성분을 탐지하는 데 중점을 두었다.
• 실시간 성능과 신호 안정성 평가를 위해 경험이 풍부한 사용자와 초보자 사용자 모두를 대상으로 온라인 BCI 실험을 수행하였다.
• 참가자 및 시험 간의 P300 반응의 진폭과 일관성에 기반하여 시스템을 평가하였다.

실험 결과

연구 질문

• RQ1 HRIR 기반 공간화된 청각 자극은 BCI 스펠러 작업에서 안정적이고 신뢰할 수 있는 P300 반응을 유도할 수 있는가?
• RQ2 P300 반응 품질 측면에서 HRIR 기반 청각 BCI는 기존의 다중 스피커 설정과 비교해 어떤가?
• RQ3 BCI 초보자 사용자가 공간화된 음향을 사용하는 헤드폰 기반 청각 BCI를 얼마나 잘 활용할 수 있는가?
• RQ4 HRIR 기반 청각 BCI는 통제된 실험 환경에서 온라인 실시간 운영에 충분히 강건한가?
• RQ5 HRIR를 통한 바이널 오디오 사용은 다중 스피커 BCI 시스템에 대한 실용적이고 이동 가능한 대안을 제공할 수 있는가?

주요 결과

• HRIR 기반 청각 BCI는 경험이 풍부한 사용자뿐 아니라 BCI 초보자 사용자 모두에서 일관되고 강력한 P300 반응을 성공적으로 유도하였다.
• 온라인 BCI 실험은 안정적인 성능을 보였으며, 이는 시스템이 실시간 운영에 적합함을 시사한다.
• P300 반응은 정확한 스펠링을 지원할 수 있을 정도로 충분히 강건하고 신뢰할 수 있었다.
• 사례 연구를 통해 헤드폰 기반 HRIR를 활용한 공간화된 음향이 다중 스피커 시스템의 실용적인 대체 기술이 될 수 있음을 확인하였다.
• 결과적으로 HRIR 기반 청각 자극은 공간 음향 위치 감지를 효과적으로 시뮬레이션하여 사용자 인지 향상과 시스템 사용성 향상을 높였다.
• 복잡한 스피커 어레이 없이도 유망한 성능 수준을 달성하여, 이는 이동 가능한 BCI 애플리케이션의 잠재력을 뒷받침한다.