[论文解读] Direct Segmented Sonification of Characteristic Features of the Data Domain

Paul Vickers, Robert Höldrich|arXiv (Cornell University)|Nov 30, 2017

Music Technology and Sound Studies被引用 6

一句话总结

本文提出直接分段音色化（DSSon）方法，将时间序列数据分割为非重叠、基于领域知识的单元，并将每个单元独立音色化为离散的听觉整体，同时保持原始时间结构。通过将分段音色化与播放速度解耦，DSSon 实现灵活的时间压缩/拉伸，提升对显著数据特征的感知直接性，已在生物力学 FRED 运动数据上通过改进的听觉图示方法得到验证。

ABSTRACT

Sonification and audification create auditory displays of datasets. Audification translates data points into digital audio samples and the auditory display's duration is determined by the playback rate. Like audification, auditory graphs maintain the temporal relationships of data while using parameter mappings (typically data-to-frequency) to represent the ordinate values. Such direct approaches have the advantage of presenting the data stream `as is' without the imposed interpretations or accentuation of particular features found in indirect approaches. However, datasets can often be subdivided into short non-overlapping variable length segments that each encapsulate a discrete unit of domain-specific significant information and current direct approaches cannot represent these. We present Direct Segmented Sonification (DSSon) for highlighting the segments' data distributions as individual sonic events. Using domain knowledge to segment data, DSSon presents segments as discrete auditory gestalts while retaining the overall temporal regime and relationships of the dataset. The method's structural decoupling from the sound stream's formation means playback speed is independent of the individual sonic event durations, thereby offering highly flexible time compression/stretching to allow zooming into or out of the data. Demonstrated by three models applied to biomechanical data, DSSon displays high directness, letting the data `speak' for themselves.

研究动机与目标

• 解决直接音色化方法在突出离散、领域特定数据段方面的局限性。
• 在保留数据时间关系的同时，实现对播放速度和分段时长的独立控制。
• 通过基于领域知识的分段与直接音色化，增强显著数据特征的感知显著性。
• 通过最小化人为映射，保持高度直接性，使数据‘自行发声’。
• 在使用改进听觉图示方法的生物力学数据事后分析中，展示该方法的适用性。

提出的方法

• 基于领域特定标准（如无趋势信号中的过零点）将数据流分割为非重叠、可变长度的分段。
• 使用改进的听觉图示方法，将每个分段的属性独立音色化，映射至音高、振幅和音色等声学参数。
• 根据分段内数据演变情况应用振幅调制，通过阈值突出大数值，以增强感知显著性。
• 根据分段特征（如符号或趋势）单独设定每个分段的基准频率，确保最优音域。
• 在最终音频流中叠加声学事件，以保持原始时间顺序和分段边界的时间关系。
• 将播放速度与分段时长解耦，支持灵活的时间压缩或拉伸，实现对数据的缩放。

实验结果

研究问题

• RQ1 能否通过增强直接音色化方法，突出离散、领域特定的数据段，而无需施加人为映射？
• RQ2 如何将播放速度与分段时长解耦，以支持灵活的时间压缩与缩放？
• RQ3 基于领域知识的分段在多大程度上提升了听觉显示中显著数据特征的感知显著性？
• RQ4 改进的听觉图示能否适应以增强音色化分段的直接性与感知清晰度？
• RQ5 DSSon 与声学化（audification）和听觉图示在揭示生物力学数据中生理相关模式方面有何差异？

主要发现

• DSSon 在保持原始时间结构的同时，通过解耦播放速度，成功实现灵活的时间压缩与拉伸。
• 使用基于领域的分段方法（如速度信号中的过零点）能有效隔离 FRED 运动数据中生理相关的事件。
• 基于数据演变的振幅调制增强了分段内高幅值数值的感知显著性。
• 每个分段独立设置音高，显著提升了可听度与感知清晰度，尤其适用于类似交流（AC）的信号。
• 该方法使听者可通过描述特征音色识别感兴趣区域，支持探索性数据分析。
• 三种 DSSon 模型（在振幅阈值与音色设计上有所不同）在保持高度直接性的同时，有效实现了对生物力学数据的事后分析。