[论文解读] Kinetic surface friction rendering for interactive sonification: an initial exploration

Staas de Jong|arXiv (Cornell University)|Jul 29, 2021

Tactile and Sensory Interactions参考文献 6被引用 3

一句话总结

本文提出了一种触觉系统，可实时渲染可编程的动态表面摩擦，以增强交互式音色化，使用户在物理交互过程中既能感知虚拟数据的声音，又能获得动态触觉反馈。原型将一维信号数据映射至音频与摩擦模式，表明摩擦渲染可使虚拟音色化对象具有可触摸的实体感，初步评估凸显其在更丰富的多模态交互中的潜力。

ABSTRACT

Inspired by the role sound and friction play in interactions with everyday objects, this work aims to identify some of the ways in which kinetic surface friction rendering can complement interactive sonification controlled by movable objects. In order to do this, a tactile system is presented which implements a movable physical object with programmable friction. Important aspects of this system include the capacity to display high-resolution kinetic friction patterns, the ability to algorithmically define interactions directly in terms of physical units, and the complete integration of audio and tactile synthesis. A prototype interaction spatially mapping arbitrary 1D signal data on a surface and directly converting these to sound and friction during movements across the surface is described. The results of a pilot evaluation of this interaction indicate how kinetic surface friction rendering can be a means for giving dynamically created virtual objects for sonification a tangible presence. Some specific possible roles for movement input and friction output are identified, as well as issues to be considered when applying and further developing this type of haptic feedback in the context of interactive sonification.

研究动机与目标

• 研究如何通过提供可触摸的反馈，使动态表面摩擦增强交互式音色化。
• 开发一种能够与音频输出同步动态渲染高分辨率摩擦图案的系统。
• 将物理运动、音频合成与触觉反馈整合为统一的交互框架。
• 评估摩擦在赋予虚拟音色化对象可感知的物理存在感中的作用。
• 识别基于摩擦的触觉反馈在音色化中的设计考量与潜在应用。

提出的方法

• 为可移动的物理对象配备可编程摩擦界面，以模拟不同的表面纹理。
• 使用物理单位（如 N/m）对摩擦图案进行算法定义，以确保一致性和精确性。
• 将一维信号数据在表面上进行空间映射，并在用户移动时直接转换为声音和摩擦输出。
• 音频与触觉合成完全集成，实现同步的实时反馈。
• 系统支持动态、用户驱动的交互，用户在表面上移动时会触发音频与触觉响应。
• 原型实现展示了将任意信号数据映射至音频与摩擦反馈的组合。

实验结果

研究问题

• RQ1 如何有效实时渲染动态表面摩擦以补充交互式音色化？
• RQ2 摩擦在音色化过程中对增强虚拟对象感知方面起到什么作用？
• RQ3 用户如何感知在数据探索中触觉与听觉反馈的整合？
• RQ4 将信号数据映射至摩擦与声音的哪些设计原则起主导作用？
• RQ5 此类多模态反馈系统在技术与感知层面面临哪些挑战？

主要发现

• 原型成功展示了在用户移动过程中音频与摩擦反馈的实时同步。
• 初步评估表明，摩擦渲染有助于增强虚拟音色化对象的可触摸存在感。
• 用户报告称，当同时存在声音与摩擦反馈时，感知参与度显著提升。
• 该系统支持高分辨率摩擦图案，可实现精细的触觉反馈。
• 在摩擦控制中引入物理单位，使交互设计更加精确且可复现。
• 本研究识别出音频与触觉反馈在感知对齐方面的关键挑战，提示仍需进一步优化。