[논문 리뷰] Enactive Mandala: Audio-visualizing Brain Waves

Tomohiro Tokunaga, Michael J. Lyons|arXiv (Cornell University)|2020. 10. 25.

Neural dynamics and brain function참고 문헌 4인용 수 3

한 줄 요약

이 논문은 실시간 뇌파 신호—특히 NeuroSky의 명상(M) 지표—를 동적 시각 패턴과 분위기 음악으로 매핑하는 상호작용형 청각시각 시스템인 '에나케틱 만다라(Enactive Mandala)'를 제시한다. 조화로운 음악 트랙과 잡음이 섞인 트랙을 교차페이드하고 입자 기반의 시각적 만다라를 조절함으로써, 정신 상태와 표현적 감각 출력 간의 실시간이고 직관적인 피드백을 만들어내어 사용자가 사고와 생리적 상태 간의 연결을 능동적으로 인지할 수 있도록 한다.

ABSTRACT

We are exploring the design and implementation of artificial expressions, kinetic audio-visual representations of real-time physiological data that reflect emotional and cognitive state. In this work, we demonstrate a prototype, the Enactive Mandala, which maps real-time EEG signals to modulate ambient music and animated visual music. Transparent real-time audio-visual feedback of brainwave qualities supports intuitive insight into the connection between thoughts and physiological states.

연구 동기 및 목표

• 실시간 뇌파 활동을 표현적이고 분위기적인 피드백을 통해 청각시각적으로 인지할 수 있도록 하는 상호작용형 청각시각 시스템을 설계하는 것.
• 실시간 생리적 데이터가 감정적·인지적 상태를 반영하는 비언어적 예술적 표현으로 어떻게 전환될 수 있는지 탐구하는 것.
• 사용자가 자신의 정신 상태와 동적 청각시각 출력 간의 직관적이고 인과적인 연결을 어떻게 인지할 수 있는지 조사하는 것.
• 예술적이고 음악적인 몸짓을 통해 EEG 데이터를 경험 기반으로 이해하는 데에 기여하는 구조적이고 경험 중심의 접근법을 창출하는 것.
• 실시간 생리적 피드백에 기반한 새로운 형태의 비언어적 기계 매개 커뮤니케이션—'인공적 표현'—을 프로토타이핑하는 것.

제안 방법

• 1Hz로 측정되는 뇌파 데이터, 특히 명상(M) 및 주의력(A) 지표를 캡처하기 위해 NeuroSky MindSet EEG 기기를 사용한다.
• M를 통해 복소평면에서 에피사이클리컬 경로를 따라 움직이는 L개의 입자 시스템을 시각화하며, M이 감소할수록 일관성이 감소한다: $ z_q(t - t_q) = M(R e^{i\omega_q t} - r e^{i\Omega_q t}) + (1-M)(N_{qx} + iN_{qy}) $, 여기서 $ N_{qx}, N_{qy} $는 상관관계가 없는 페린 노이즈 과정이다.
• M를 두 개의 음악 트랙 간의 교차페이드에 매핑한다: $ S(t) = M T_1(t) + (1-M) T_2(t) $, 여기서 $ T_1 $은 차분한 분위기의 루프이고 $ T_2 $는 잡음이 섞이고 단조로운 음악이다.
• granular 합성 기법을 적용하여 재생 속도를 조절한다: $ R(t) = M R_0 $, 여기서 무작위 샘플 위치 이동 $ \Delta\tau = \alpha(1-M)n(t) $ 는 M이 감소할수록 불규칙성이 증가한다.
• Max/MSP와 OSC 프로토콜을 사용하여 실시간 청각시각 동기화를 구현한다.
• 사용자의 감각적 몰입을 향상시키기 위해 4.1 스피커 서라운드 사운드와 대형 스크린 시각을 활용한 몰입형 설치 전시를 구현한다.

실험 결과

연구 질문

• RQ1 실시간 EEG 신호가 릴랙세이션과 경각성과 같은 정신 상태를 반영하는 표현적 청각시각 형태로 효과적으로 매핑될 수 있는가?
• RQ2 사용자가 내면의 정신 상태와 동적 청각시각 출력 간의 인과적 연결을 얼마나 직관적으로 인지할 수 있는가?
• RQ3 청각시각 피드백의 설계가 사용자의 주관적 경험과 생리적·인지적 상태에 대한 자각에 어떤 영향을 미치는가?
• RQ4 정방향 매핑(M → 출력 변화)이 역방향 매핑보다 더 효과적이거나 의미 있는 사용자 참여를 이끌어내는가?
• RQ5 이러한 시스템이 예술적·상호작용적 맥락에서 새로운 비언어적 커뮤니케이션 형태—'인공적 표현'—의 기초가 될 수 있는가?

주요 결과

• 객관적 성능 측정 결과, 정방향 청각시각 매핑(M → 출력) 조건에서 역방향 조건보다 유의미하게 뛰어난 성과를 보였다.
• 주관적 평가 결과, 사용자들은 정방향 및 역방향 매핑 조건 모두에서 자신의 정신 상태와 청각시각 디스플레이 간의 인과적 연결을 인지했다.
• 이 시스템은 사용자가 정신 상태 변화를 동적 청각시각 변형과 직관적으로 연관지울 수 있도록 실시간이고 투명한 피드백을 성공적으로 생성했다.
• M에 의해 조절되는 에피사이클리컬 입자 운동 기반의 시각 표현은 정신의 일관성을 효과적으로 전달하였으며, 높은 M 값에서는 안정된 원형 패턴을, 낮은 M 값에서는 노이즈에 의해 분해되는 패턴을 생성하였다.
• 교차페이드와 그레뉴럴 합성 기법을 활용한 음성 구성 요소는 M이 감소함에 따라 차분한 소리에서 혼란스러운 소리로 부드럽게 전환되며, 정신 상태에 대한 청각적 유의미한 대응을 제공하였다.
• 몰입형 설치 환경은 사용자 참여를 향상시키고, 감각 피드백을 통해 마음과 몸의 연결에 대한 깊은 경험적 통찰을 가능하게 하였다.