[论文解读] Body, Clothes, Water, and Toys: Media Towards Natural Music Expressions with Digital Sounds

Kenji Mase, Tomoko Yonezawa|arXiv (Cornell University)|Oct 4, 2020

Interactive and Immersive Displays参考文献 4被引用 4

一句话总结

本文提出了一种使用日常材料（身体、衣物、水和毛绒玩具）的创新音乐交互界面，利用触觉传感器、图像处理和加速度计等技术，实现对数字声音的富有表现力且直观的控制。其主要贡献在于开发了一套低成本、多模态的乐器，通过与熟悉媒介的亲密、实体化互动，增强自然的音乐表现力。

ABSTRACT

In this paper, we introduce our research challenges for creating new musical instruments using everyday-life media with intimate interfaces, such as the self-body, clothes, water and stuffed toys. Various sensor technologies including image processing and general touch sensitive devices are employed to exploit these interaction media. The focus of our effort is to provide user-friendly and enjoyable experiences for new music and sound performances. Multimodality of musical instruments is explored in each attempt. The degree of controllability in the performance and the richness of expressions are also discussed for each installation.

研究动机与目标

• 探索日常物理媒介作为数字音乐表达性交互界面的潜力。
• 解决利用非传统材料创造直观、愉悦且可控的音乐体验的挑战。
• 研究多模态反馈与传感器集成如何增强数字声音表演中的用户表现力。
• 开发低成本、易获取的乐器，通过实体化交互支持丰富而自然的音乐表达。

提出的方法

• 利用触觉传感器、图像处理和加速度计检测与身体、衣物、水和玩具的交互。
• 设计互动装置，实时将物理动作和材料特性映射到数字声音合成。
• 通过结合触觉、视觉和听觉反馈，实现多模态反馈以增强用户参与感。
• 采用通用型传感器技术，确保在多种表演场景中具备可访问性和可适应性。
• 专注于物理动作与声音输出之间的直观映射，以支持富有表现力的控制。
• 通过基于表演的评估验证设计，以评估可控性与表现力。

实验结果

研究问题

• RQ1 如何将衣物和水等日常物理材料有效转化为富有表现力的音乐交互界面？
• RQ2 哪些传感器技术能够实现物理交互与数字声音生成之间的直观且响应迅速的映射？
• RQ3 多模态反馈与实体化交互在多大程度上提升了数字音乐表演中用户的表现力与愉悦感？
• RQ4 如何在实时表演环境中对非传统乐器的可控性与表现力进行定量评估？
• RQ5 哪些设计原则能够支持开发出可访问、低成本且支持自然音乐表达的乐器？

主要发现

• 使用身体、衣物、水和玩具实现了高度直观且富有表现力的音乐交互，用户报告称存在强烈的情感与身体参与感。
• 基于传感器的映射实现了实时、响应迅速的声音生成，支持在不同材料上实现细腻的音乐表达。
• 多模态反馈（结合触觉、视觉与听觉提示）显著增强了用户对控制感与表现力的感知。
• 这些乐器在用户愉悦度与感知自然性方面表现优异，尤其当交互利用了熟悉的物理特性时。
• 采用直接触觉与运动传感的系统表现出最高的可控性，而基于水的界面则因流体动力学特性而展现出独特的表达潜力。
• 研究表明，当结合适当的传感与映射技术时，低成本且易获取的材料也能支持复杂的音乐表达。