[论文解读] Comparison of P300 Responses in Auditory, Visual and Audiovisual Spatial Speller BCI Paradigms

Moonjeong Chang, Nozomu Nishikawa+5 more|arXiv (Cornell University)|Jan 27, 2013

EEG and Brain-Computer Interfaces参考文献 3被引用 34

一句话总结

本研究通过16名BCI新手受试者，比较了听觉、视觉和视听觉空间拼写器脑-机接口（BCI）范式中的P300反应。尽管在离线分析中听觉刺激诱发的P300反应潜伏期更长，但视觉模态在在线拼写准确率上显著更高（95.0%），远超听觉模态（52.5%），表明听觉BCI在实际应用中仍需进一步发展，尤其针对新手用户。

ABSTRACT

The aim of this study is to provide a comprehensive test of three spatial speller settings, for the auditory, visual, and audiovisual paradigms. For rigour, the study is conducted with 16 BCI-naïve subjects in an experimental set-up based on five Japanese hiragana characters. Auditory P300 responses give encouragingly longer target vs. non-target latencies during the training phase, however, real-world online BCI experiments in the multimodal setting do not validate this potential advantage. Our case studies indicate that the auditory spatial unimodal paradigm needs further development in order to be a viable alternative to the established visual domain speller applications, as far as BCI-naïve subjects are concerned.

研究动机与目标

• 评估听觉、视觉和视听觉P300基底空间拼写器BCI在BCI新手受试者中的性能。
• 评估模态对脑电图（EEG）基BCI系统中P300反应潜伏期和振幅的影响。
• 确定听觉空间拼写器范式是否能够达到或超越既有的视觉拼写器系统性能。
• 调查单模态与多模态BCI配置下的用户舒适度与可用性。

提出的方法

• 使用16通道EEG系统（g.USBamp），电极根据10/10扩展国际系统进行放置。
• 通过视觉、听觉或视听觉模态，从五个空间位置呈现200 ms的刺激。
• 采用基于向量的声音定位技术，创建与视觉字母位置对齐的空间听觉刺激。
• 在0–600 ms事件相关电位（ERP）区间内，应用线性判别分析（LDA）进行分类。
• 将刺激间隔（ISI）设为500 ms，并应用滤波：高通0.1 Hz，低通100 Hz，50 Hz处的陷波滤波器。
• 在线BCI实验中，呈现五组随机的平假名字符序列，每组目标在每次试验中重复十次。

实验结果

研究问题

• RQ1 在BCI新手受试者中，听觉P300反应的潜伏期是否长于视觉和视听觉反应？
• RQ2 听觉空间拼写器范式是否能够实现与视觉范式相当或更高的在线拼写准确率？
• RQ3 增加视听觉多模态刺激如何影响P300反应特征与BCI性能？
• RQ4 P300反应振幅与潜伏期在多大程度上与实时BCI操作中的实际拼写准确率相关？

主要发现

• 听觉单模态范式诱发了更长潜伏期的P300反应，表现为ERP波形和相关性图在449 ms处出现更明显的偏移。
• 尽管P300潜伏期更长，听觉模态的在线拼写准确率最低（52.5%），在三种模态中最低。
• 视觉单模态范式实现了最高的在线准确率（95.0%），显著优于听觉和视听觉条件。
• 视听觉多模态范式实现了高准确率（91.3%），标准差较低（12.6%），表明性能稳定可靠。
• 脑地形图确认了听觉条件下P300反应的局灶性分布，表明尽管分类性能较差，仍能可靠生成神经信号。
• 离线ERP特征与在线性能之间的差异凸显了将神经反应特征转化为听觉模态可用BCI控制的关键差距。