[論文レビュー] The Spatial Real and Virtual Sound Stimuli Optimization for the Auditory BCI

Nozomu Nishikawa, Y. Matsumoto+2 more|arXiv (Cornell University)|Oct 10, 2012

Vehicle Noise and Vibration Control参考文献 9被引用数 7

ひとこと要約

本論文は、聴覚BCI（aBCI）のための仮想空間音刺激を生成するための修正VBAP（ベクトルベース振幅パンニング）法を提案し、少ないスピーカー数でマルチコマンド制御を可能にする。仮想音像が実音源と同等のP300脳波反応を誘発することを示し、音の奥行き（音量調節による）がP300振幅を顕著に向上させることを確認した。これにより、高容量かつスピーカー非依存のaBCIシステムの実現可能性が裏付けられた。

ABSTRACT

The paper presents results from a project aiming to create horizontally distributed surround sound sources and virtual sound images as auditory BCI (aBCI) stimuli. The purpose is to create evoked brain wave response patterns depending on attended or ignored sound directions. We propose to use a modified version of the vector based amplitude panning (VBAP) approach to achieve the goal. The so created spatial sound stimulus system for the novel oddball aBCI paradigm allows us to create a multi-command experimental environment with very encouraging results reported in this paper. We also present results showing that a modulation of the sound image depth changes also the subject responses. Finally, we also compare the proposed virtual sound approach with the traditional one based on real sound sources generated from the real loudspeaker directions. The so obtained results confirm the hypothesis of the possibility to modulate independently the brain responses to spatial types and depths of sound sources which allows for the development of the novel multi-command aBCI.

研究の動機と目的

• 物理的スピーカーへの依存を減らすために、仮想音像を用いたマルチコマンド聴覚BCIシステムの開発。
• 仮想音刺激がEEGベースのBCIパラダイムにおいて、実音源と同等のP300反応を誘発できるかの検討。
• 音像の奥行き（音量調節による）がP300反応の振幅および分離性に与える影響の調査。
• 異なる音色がaBCI環境下での心理物理学的および神経活動的反応に与える影響の検証。
• 空間的および奥行きベースの変調を用いたスケーラブルでスピーカー効率の高いaBCIシステムの実現可能性の検証。

提案手法

• MAX/MSP環境に実装された修正VBAPアルゴリズムを用い、八角形に配置された8つのスピーカーを用いて仮想音源を生成。
• ベクトルベースの振幅重み付けを用いて隣接するスピーカー対間で音声をパンニングし、計算を簡略化するとともに水平方向の正確な局在化を実現。
• 実験的条件下で直接比較可能なように、物理的スピーカーからの実音刺激とVBAPによる仮想音刺激の両方を生成。
• 音の奥行きは、音源の音量レベルを調整することで制御し、より近くまたは遠くの空間的位置を模擬。
• オフラインsaBCIモードでEEGデータを収集し、MEMDを用いたアーティファクト除去とピーク対ピークしきい値を用いた眼瞼運動・筋肉活動アーティファクトの同定・除外によるERP解析を実施。
• 電極および条件ごとに、ターゲット（注目）とノンターゲット（無視）音刺激間の平均ERP波形を比較することで、P300反応の分離性を評価。

実験結果

リサーチクエスチョン

• RQ1 実音源対仮想音像の空間音配信方式が、P300反応の振幅および分離性に顕著な影響を及えるか？
• RQ2 音刺激のトーン（音色）がaBCIパラダイムにおける行動的または神経的反応に影響を及えるか？
• RQ3 音像の奥行き（音量による調節）を変化させることで、P300反応の振幅または波形に変化が生じるか？
• RQ4 仮想音像はマルチコマンドaBCI環境において、実音源と同等のP300反応を信頼性高く誘発できるか？
• RQ5 近い（大きく聞こえる）と遠い（小さく聞こえる）音源の間で、P300反応の強度に有意な差が認められるか？

主な発見

• 遠く（静かめ）の音源に対してP300反応の振幅が顕著に大きかったことから、奥行きの制御が神経的分離性を向上させることを示唆した。
• 実音と仮想音刺激の間で心理物理学的反応に有意差は認められず、同等の知覚的性能が達成されたことが示された。
• EEG結果から、実音源および仮想音源の両方に対して明確で分離可能なP300反応が得られ、仮想音のaBCI応用における有効性が裏付けられた。
• 修正VBAP手法により、計算負荷を最小限に抑えつつ安定的かつ空間的に正確な仮想音像が生成された。
• MEMDとピーク対ピークしきい値を用いたアーティファクト除去により、眼瞼運動および筋肉活動アーティファクトが効果的に除去され、クリアなERP波形が保持された。
• 方向に依存したP300反応の変動が顕著に認められなかったことから、マルチコマンドBCI設計における刺激システムの堅牢性が裏付けられた。