[论文解读] Interactive Sonification for Health and Energy using ChucK and Unity

Yichun Zhao, George Tzanetakis|arXiv (Cornell University)|Oct 24, 2022

Tactile and Sensory Interactions被引用 2

一句话总结

本文提出了一种使用 ChucK 和 Unity 的交互式声音化框架，支持对健康与能效数据（特别是 EEG α 波和空气污染物水平）进行实时、用户可控的声音化处理。该框架引入了新型功能，如基于跨数据调制的 FM 合成、用于对比的交错播放，以及动态音频可视化，从而通过让用户直观调节声音参数来实时感知复杂关系，增强数据探索能力。

ABSTRACT

Sonification can provide valuable insights about data but most existing approaches are not designed to be controlled by the user in an interactive fashion. Interactions enable the designer of the sonification to more rapidly experiment with sound design and allow the sonification to be modified in real-time by interacting with various control parameters. In this paper, we describe two case studies of interactive sonification that utilize publicly available datasets that have been described recently in the International Conference on Auditory Display (ICAD). They are from the health and energy domains: electroencephalogram (EEG) alpha wave data and air pollutant data consisting of nitrogen dioxide, sulfur dioxide, carbon monoxide, and ozone. We show how these sonfications can be re-created to support interaction utilizing a general interactive sonification framework built using ChucK, Unity, and Chunity. In addition to supporting typical sonification methods that are common in existing sonification toolkits, our framework introduces novel methods such as supporting discrete events, interleaved playback of multiple data streams for comparison, and using frequency modulation (FM) synthesis in terms of one data attribute modulating another. We also describe how these new functionalities can be used to improve the sonification experience of the two datasets we have investigated.

研究动机与目标

• 开发一个可重用的交互式声音化框架，支持对健康与能效数据集进行实时用户控制的音频映射。
• 通过引入超越标准工具包的新型音频合成与交互技术，提升声音化体验。
• 使无编程经验的领域专家能够通过直观的可视化控件探索并修改声音化效果。
• 通过两个案例研究证明该框架的有效性：EEG α 波数据与多污染物空气质量数据。
• 支持高级声音化方法，如跨数据调制、交错播放与动态音频可视化，以提升数据对比与感知能力。

提出的方法

• 该框架将 ChucK 用于低层次的并发音频合成，同时利用 Unity 实现实时图形用户界面（GUI）与 3D 音频渲染。
• 支持将数据属性交互式映射到音频参数（如音高、振幅与音色），并支持实时参数调节。
• 跨数据调制通过允许一个数据流（如 CO）调制另一个载波振荡器（如 NO2）的振幅来实现，从而生成复杂且动态的声音纹理。
• 交错播放支持在每个数据点处按顺序播放多个数据流（如四种污染物），从而更清晰地分别感知每个属性。
• 音频可视化利用 Unity 的粒子系统将声音强度与音高空间化呈现，颜色编码的粒子反映数据属性值，并根据音频特征动态聚类。
• 系统支持动态振荡器类型选择与实时声像控制，使用户能够实验不同的空间音频布局与声音纹理。

实验结果

研究问题

• RQ1 如何实现交互式声音化，以支持对健康与能效数据的实时、用户驱动型探索？
• RQ2 哪些新型音频合成技术能够增强对多个数据流之间复杂关系的感知？
• RQ3 与同时播放相比，交错播放在提升数据对比清晰度与准确性方面有何优势？
• RQ4 动态音频可视化在支持对声音化数据的直观理解方面有哪些作用？
• RQ5 如何通过统一框架将 ChucK 的音频合成能力与 Unity 的交互与可视化功能相结合，以服务非程序员用户？

主要发现

• 该框架成功实现了使用 ChucK 与 Unity 对 EEG 与空气污染物数据进行实时、交互式声音化处理，支持动态参数控制与用户驱动型探索。
• 跨数据 FM 合成（即一个数据流调制另一个数据流的载波振幅）产生具有明显听觉差异的金属质感声音纹理，有效反映属性之间的关系。
• 交错播放使用户能够按顺序清晰听到各个数据属性，相比同时播放显著提升了感知准确性。
• 利用 Unity 粒子系统实现的音频可视化能有效表示动态音频特征（如音量与音高），颜色编码的粒子指示数据属性值，聚类则反映声音强度。
• ChucK 与 Unity 的集成实现了高度交互且视觉吸引人的声音化环境，适用于无编程经验的领域专家。
• 该框架支持高级功能，如动态振荡器类型选择与实时声像控制，显著增强了表达性控制与数据的空间感知能力。