[论文解读] Enactive Mandala: Audio-visualizing Brain Waves

Tomohiro Tokunaga, Michael J. Lyons|arXiv (Cornell University)|Oct 25, 2020

Neural dynamics and brain function参考文献 4被引用 3

一句话总结

本文提出了一种名为Enactive Mandala的交互式视听系统，该系统将实时脑电图（EEG）信号——特别是NeuroSky的冥想（M）指标——映射为动态视觉图案与环境音乐。通过在和谐与嘈杂的音频轨道之间进行交叉淡入淡出，并调制基于粒子的视觉曼陀罗，该系统实现了将心理状态与表达性感官输出相联系的实时、直观反馈，使用户能够主动感知思维与生理状态之间的关联。

ABSTRACT

We are exploring the design and implementation of artificial expressions, kinetic audio-visual representations of real-time physiological data that reflect emotional and cognitive state. In this work, we demonstrate a prototype, the Enactive Mandala, which maps real-time EEG signals to modulate ambient music and animated visual music. Transparent real-time audio-visual feedback of brainwave qualities supports intuitive insight into the connection between thoughts and physiological states.

研究动机与目标

• 设计一种交互式视听系统，通过富有表现力的环境反馈使实时脑电波活动可感知。
• 探索如何将实时生理数据转化为非语言的艺术表达，以反映情绪与认知状态。
• 研究用户是否能够发展出对心理状态与动态视听输出之间因果关系的直观感知。
• 通过艺术与音乐的具身化，创建一种以体验为导向的、理解EEG数据的建设性方法。
• 原型化一种新型的非语言、机器中介的交流形式——‘人工表达’——其基础为实时生理反馈。

提出的方法

• 使用NeuroSky MindSet脑电图设备捕获实时脑电波数据，具体为每秒1次的冥想（M）与注意力（A）指标。
• 通过复平面上粒子的旋轮线路径可视化M值，相干性随M值降低而减弱：$ z_q(t - t_q) = M(R e^{i\omega_q t} - r e^{i\Omega_q t}) + (1-M)(N_{qx} + iN_{qy}) $，其中$ N_{qx}, N_{qy} $为不相关的Perlin噪声过程。
• 将M值映射为两段音频轨道之间的交叉淡入淡出：$ S(t) = M T_1(t) + (1-M) T_2(t) $，其中$ T_1 $为平静的环境循环音乐，$ T_2 $为嘈杂、断奏的序列。
• 应用颗粒合成技术调制播放速度：$ R(t) = M R_0 $，并引入随机样本位置偏移$ \Delta\tau = \alpha(1-M)n(t) $，使M值降低时混乱度增加。
• 使用Max/MSP和OSC协议实现系统，以确保实时音频-视觉同步。
• 在配备4.1环绕立体声音响与大屏幕视觉的沉浸式装置中部署系统，以增强感知参与度。

实验结果

研究问题

• RQ1 实时脑电信号能否被有效映射为反映放松与警觉等心理状态的富有表现力的视听形式？
• RQ2 用户在多大程度上能直观感知其内在心理状态与动态视听输出之间的因果关系？
• RQ3 视听反馈的设计如何影响用户的主观体验以及其对自身生理与认知状态的自我觉察？
• RQ4 正向映射（M → 输出）是否比反向映射带来更有效或更有意义的用户参与？
• RQ5 此类系统能否作为艺术与互动语境中新型非语言交流形式——‘人工表达’——的基础？

主要发现

• 客观性能指标显示，正向音频-视觉映射（M → 输出）相比反向条件表现显著更优。
• 主观评估确认，用户在正向与反向映射条件下均感知到了其心理状态与视听显示之间的因果关系。
• 该系统成功实现了实时、透明的反馈，使用户能够直观地将心理状态的变化与动态视听变换联系起来。
• 基于M值调制的旋轮线粒子运动的视觉呈现，有效传达了心理一致性：高M值产生稳定的圆形图案，低M值则导致噪声引起的瓦解。
• 音频部分通过交叉淡入淡出与颗粒合成，提供了心理状态的显著听觉类比：随着M值降低，声音平滑地从平静过渡到混乱。
• 沉浸式装置环境增强了用户参与度，并通过感官反馈促进了对身心关联的更深层次体验性洞察。