[论文解读] Composing an Ensemble Standstill Work for Myo and Bela

Charles Martín, Alexander Refsum Jensenius+1 more|arXiv (Cornell University)|Dec 4, 2020

Music Technology and Sound Studies参考文献 6被引用 10

一句话总结

本文提出了一套便携式嵌入式系统，结合Myo手势臂环与Bela嵌入式平台，实现基于合奏的‘静止’表演形式，其中仅通过微弱的肌肉紧张度控制声音输出。通过开发定制的Myo-to-Bela与Myo-to-OSC软件桥接，作者克服了Linux系统不兼容及BLE连接数量限制的问题，实现了通过肌电图（EMG）与惯性测量单元（IMU）数据对八个正弦振荡器的实时、低延迟控制，且仅在微小动作期间激活声音输出——该系统已在作品《Tension Under Stillness》中得到验证。

ABSTRACT

This paper describes the process of developing a standstill performance work using the Myo gesture control armband and the Bela embedded computing platform. The combination of Myo and Bela allows a portable and extensible version of the standstill performance concept while introducing muscle tension as an additional control parameter. We describe the technical details of our setup and introduce Myo-to-Bela and Myo-to-OSC software bridges that assist with prototyping compositions using the Myo controller.

研究动机与目标

• 开发一种便携式、实时的音乐表演系统，利用Myo臂环与Bela平台实现手势音乐创作。
• 解决Myo Connect缺乏Linux支持及多表演者设置下BLE连接数量限制的问题。
• 探索微小动作与持续肌肉紧张度在数字音乐表演中的表现潜力。
• 实现一种新颖的逆向映射机制：微小运动产生最大声音输出，从而定义‘静止’表演概念。
• 在嵌入式硬件上实现可靠、自动启动的表演配置，预载音频patch。

提出的方法

• 基于C++的Myo-to-Bela渲染文件，利用MyoLinux将EMG与IMU数据直接流式传输至Bela上的Pure Data patch。
• 实现纯Python编写的Myo-to-OSC桥接，支持在Linux及其他系统上对Myo交互进行跨平台原型设计。
• 设计表演配置：每位表演者配备一台Bela，通过BLE连接至一台Myo，无需依赖多台计算机。
• 利用Bela可直接启动预加载音频patch的能力，确保在40秒内完成一致且可靠的性能启动。
• 将EMG信号映射至振荡器振幅，音高映射至Myo的俯仰角（pitch），音色扩展映射至偏航角（yaw），失真增益映射至翻滚角（roll）。
• 基于加速度与旋转幅度实现QoM（运动量）指标，当运动超过阈值时触发静音。

Figure 1: Our mobile performance setup using a Bela and Myo, powered by a USB battery.

实验结果

研究问题

• RQ1 如何将Myo臂环有效集成至Bela等嵌入式音频平台，以支持实时、便携的音乐表演？
• RQ2 在合奏场景中，有哪些技术方案可克服Myo Connect缺乏Linux支持及BLE连接数量限制的问题？
• RQ3 如何将肌肉紧张度与微小动作映射为声音，以支持富有表现力的静止型表演？
• RQ4 基于逆向映射机制（静止产生声音，运动导致静音）的系统是否能催生新型的合奏互动形式？
• RQ5 在同步、低动作的表演中，使用多台Myo表演者采集的EMG与IMU数据，其实际应用与表现意义为何？

主要发现

• 定制的Myo-to-Bela C++渲染文件成功实现了Myo臂环至Bela上Pure Data patch的EMG与IMU数据实时流传输，具备可靠的启动与连接性能。
• Myo-to-OSC纯Python桥接支持在Linux上对Myo交互进行高效原型设计，促进跨平台开发与测试。
• 每位表演者独立配置一台Bela与一台Myo，实现无BLE连接冲突的独立控制，解决了标准Myo BLE适配器三连接限制的问题。
• 作品《Tension Under Stillness》证明，持续肌肉紧张可产生连续声音，而任何超过阈值的动作均在数秒内导致输出静音。
• 表演者通过细微的肌肉激活与手臂姿态调整，实现了富有表现力的音色变化，各表演者因个性化参数设置而呈现出独特的和声与音色特征。
• 表演结构包含四个不同姿态，持续9分钟，使表演者能在保持最小动作核心原则的前提下，对声音可能性进行受控探索。

Figure 2: The premiere of Stillness Under Tension . Each performer could use their arm muscles to activate different oscillators, while their arm direction selected a different timbre and base frequency.