[論文レビュー] Enactive Mandala: Audio-visualizing Brain Waves

Tomohiro Tokunaga, Michael J. Lyons|arXiv (Cornell University)|Oct 25, 2020

Neural dynamics and brain function参考文献 4被引用数 3

ひとこと要約

本論文では、リアルタイムのEEG信号——特にNeuroSky社の瞑想（M）メトリクス——を動的な視覚パターンとアコースティック・ミュージックにマッピングするインタラクティブな音声・視覚システム「Enactive Mandala」を提示する。調和的で静かな音楽とノイジーな音楽のクロスフェードと、粒子ベースの視覚的マンダラの変調を組み合わせることで、思考と生理的状態の関連を即時に直感的に体験できるフィードバックを生成する。これにより、ユーザーは心の状態と感覚的出力のつながりを能動的に認識できる。

ABSTRACT

We are exploring the design and implementation of artificial expressions, kinetic audio-visual representations of real-time physiological data that reflect emotional and cognitive state. In this work, we demonstrate a prototype, the Enactive Mandala, which maps real-time EEG signals to modulate ambient music and animated visual music. Transparent real-time audio-visual feedback of brainwave qualities supports intuitive insight into the connection between thoughts and physiological states.

研究の動機と目的

• リアルタイムの脳波活動を、表現的でアコースティックなフィードバックを通じて感知可能にするインタラクティブな音声・視覚システムを設計すること。
• リアルタイムの生理的データが、感情的・認知的状態を反映する非言語的で芸術的な表現にどのように変換できるかを探ること。
• ユーザーが心の状態と動的な音声・視覚出力の因果関係を直感的に認識できるかを検証すること。
• 芸術的・音楽的体験を通じて、EEGデータを構築的で体験に基づいた方法で理解するアプローチを創出すること。
• リアルタイムの生理的フィードバックに根ざした、非言語的で機械媒介のコミュニケーション——「人工的表現」——の新しい形をプロトタイプ化すること。

提案手法

• 1 Hzで測定される、NeuroSky MindSet EEGデバイスを用いて、リアルタイムの脳波データ（特に瞑想（M）と注意（A）メトリクス）を取得する。
• Mを、複素平面におけるエピサイクロイド的経路を描くL個の粒子の運動で可視化し、Mが低下するにつれて整合性が低下するように設計する：$ z_q(t - t_q) = M(R e^{i\omega_q t} - r e^{i\Omega_q t}) + (1-M)(N_{qx} + iN_{qy}) $、ここで$ N_{qx}, N_{qy} $は無相関なパーリンノイズ過程である。
• Mを用いて、2つの音声トラック間のクロスフェードをマッピングする：$ S(t) = M T_1(t) + (1-M) T_2(t) $、ここで$ T_1 $は落ち着いたアコースティック・ループ、$ T_2 $はノイジーでスタッカートなシーケンスである。
• グランウラー合成を用いて再生速度を変調する：$ R(t) = M R_0 $、確率的サンプル位置シフト$ \Delta\tau = \alpha(1-M)n(t) $を導入し、Mが低下するにつれて不規則性が増加するようにする。
• Max/MSPとOSCプロトコルを用いて、リアルタイムの音声・視覚同期を実装する。
• 4.1サラウンドサウンドと大型スクリーンのビジュアルを備えたインスタレーション環境に本システムを展開し、知覚的関与を高める。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムEEG信号は、リラクゼーションやアラート状態といった心の状態を反映する、表現的で動的な音声・視覚的形態に効果的にマッピング可能か？
• RQ2 ユーザーは、内部の心の状態と動的な音声・視覚出力の因果関係をどの程度直感的に認識できるか？
• RQ3 音声・視覚フィードバックの設計は、ユーザーの主観的体験およびその生理的・認知的状態に対する自己認識にどのように影響するか？
• RQ4 M → 出力という前向きなマッピングが、逆方向のマッピングよりも、より効果的または意味のあるユーザー参加を促進するか？
• RQ5 このようなシステムは、芸術的・インタラクティブな文脈において、新たな非言語的コミュニケーション形態——「人工的表現」——の基盤として機能できるか？

主な発見

• 客観的パフォーマンス指標では、前向きな音声・視覚マッピング（M → 出力）が逆方向条件よりも顕著に優れた結果を示した。
• 主観的評価では、ユーザーが前向きおよび逆方向のマッピングの両方において、心の状態と音声・視覚表示の因果関係を認識していることが確認された。
• 本システムは、リアルタイムで透明なフィードバックを提供し、ユーザーが心の状態の変化と動的な音声・視覚的変化の関連を直感的に結びつけられるようにした。
• Mによって調節されるエピサイクロイド的粒子運動に基づく視覚表現は、心の整合性を効果的に伝えることができ、M値が高いと安定した円形パターンが得られ、M値が低いとノイズによる崩壊が生じた。
• クロスフェードとグランウラー合成を用いた音声部は、Mが低下するにつれて、静けさから混沌とした音への滑らかな移行を実現し、心の状態の聴覚的アナログを明確に提供した。
• インスタレーション形式の没入型環境は、ユーザーの関与を高め、感覚フィードバックを通じて心身のつながりに対するより深い体験的洞察を促進した。