[论文解读] Analyzing Visual Mappings of Traditional and Alternative Music Notation

Matthias Miller, Jonas Häußler+3 more|arXiv (Cornell University)|Oct 25, 2018

Music Technology and Sound Studies被引用 5

一句话总结

本文提出了一种结构化可视化流程，将信息可视化原则与音乐记谱法设计相结合，用于分析和创建面向特定任务的音乐记谱法。通过运用格式塔法则和可视化通道，将音乐特征映射到视觉变量，该方法实现了对传统与替代记谱法的系统性比较与创新，揭示了设计上的缺口与机会，为不同用户和任务量身定制的系统提供了支持。

ABSTRACT

In this paper, we postulate that combining the domains of information visualization and music studies paves the ground for a more structured analysis of the design space of music notation, enabling the creation of alternative music notations that are tailored to different users and their tasks. Hence, we discuss the instantiation of a design and visualization pipeline for music notation that follows a structured approach, based on the fundamental concepts of information and data visualization. This enables practitioners and researchers of digital humanities and information visualization, alike, to conceptualize, create, and analyze novel music notation methods. Based on the analysis of relevant stakeholders and their usage of music notation as a mean of communication, we identify a set of relevant features typically encoded in different annotations and encodings, as used by interpreters, performers, and readers of music. We analyze the visual mappings of musical dimensions for varying notation methods to highlight gaps and frequent usages of encodings, visual channels, and Gestalt laws. This detailed analysis leads us to the conclusion that such an under-researched area in information visualization holds the potential for fundamental research. This paper discusses possible research opportunities, open challenges, and arguments that can be pursued in the process of analyzing, improving, or rethinking existing music notation systems and techniques.

研究动机与目标

• 弥合信息可视化与音乐研究，实现对音乐记谱法设计的系统性分析。
• 识别并分类传统与替代记谱法中音乐特征的视觉映射方式。
• 开发一个可复用的设计流程，支持新型音乐记谱系统的创建与评估。
• 解决传统音乐记谱法的局限性，特别是针对非专业人士（如阅读障碍学习者）的使用问题。
• 探索现代可视化技术（如色彩、动态效果和图标）如何突破历史限制，改进音乐表达。

提出的方法

• 作者定义了一个可视化流程，通过信息可视化原则，将音乐维度（如音高、时值、力度）映射到视觉变量（如位置、颜色、形状）。
• 他们将视觉通道分类为感知型与语义型，包括位置、颜色、大小以及用于提供上下文信息的文本注释。
• 该流程应用格式塔法则（如邻近性、相似性）来指导音乐关系的有效视觉编码。
• 通过对比15种音乐记谱法的分析，验证了该方法，对它们在关键音乐特征上的编码策略进行分类。
• 该方法支持对现有记谱法的逆向工程，以及通过将视觉编码与特定用户任务和感知目标对齐，实现新记谱法的设计。
• 该框架具有可扩展性，未来可纳入更多音乐维度，如和弦或音色特征。

实验结果

研究问题

• RQ1 信息可视化原则如何被系统性地应用于音乐记谱法的设计与分析？
• RQ2 传统与替代音乐记谱法在编码音乐维度时，主要使用哪些视觉映射方式？
• RQ3 当前记谱法在多大程度上未能充分利用现代可视化技术（如色彩、动态效果或交互元素）？
• RQ4 如何针对特定用户群体（如学习者或阅读障碍读者）优化视觉设计选择？
• RQ5 通过对比多种音乐记谱法系统的视觉编码，能得出哪些设计指南？

主要发现

• 分析表明，尽管传统音乐记谱法已标准化，但通常未能充分利用现代视觉通道（如色彩和动态效果），而这些技术可显著提升可访问性与理解度。
• 阅读障碍用户从使用非基于音高的视觉提示（如彩色背景或空间布局）的替代记谱法中受益，能更有效地区分音高。
• 语义通道（如用于表示速度、力度和乐器的文本）虽常被使用，但在不同记谱法中应用不一致，造成理解上的挑战。
• 研究发现，和弦结构缺乏标准化的视觉编码，少数系统直接将和弦映射到视觉变量，表明存在设计缺口。
• 所提出的可视化流程支持记谱法的系统性比较与设计，表明某些视觉映射在特定任务（如演奏或高层次音乐分析）中更为有效。
• 该框架表明，现代可视化技术可被有效利用，以创建面向特定任务的记谱法，从而提升清晰度并降低目标用户的认知负荷。