[论文解读] Getting Closer to the Essence of Music: The Con Espressione Manifesto

Gerhard Widmer|arXiv (Cornell University)|Nov 29, 2016

Music and Audio Processing参考文献 67被引用 19

一句话总结

本文宣言呼吁音乐信息研究（MIR）领域实现范式转变，通过聚焦人类感知、表现力和演奏，推动对音乐的深层理解。它主张通过大规模机器学习和跨学科合作，推进音乐结构、表现性演奏和听觉感知的计算模型，目标是实现能够与人类演奏者产生共情互动的音乐智能系统。

ABSTRACT

This text offers a personal and very subjective view on the current situation of Music Information Research (MIR). Motivated by the desire to build systems with a somewhat deeper understanding of music than the ones we currently have, I try to sketch a number of challenges for the next decade of MIR research, grouped around six simple truths about music that are probably generally agreed on, but often ignored in everyday research.

研究动机与目标

• 解决当前MIR系统缺乏深层音乐理解的问题，这些系统往往无法感知或传达情感、意外性或流畅感等表现性特质。
• 将MIR研究重新导向音乐作为感知性、时间性和表现性过程的核心原则，该过程由人类听众和演奏者共同塑造。
• 通过跨学科研究和大规模数据，推进音乐结构、演奏表现力和听觉感知的计算建模。
• 通过整合感知、认知与演奏科学，开发能够实现音乐智能交互的系统，例如以表现性敏感度伴奏现场演奏者。
• 激励整个MIR社区在未来的研究议程中优先关注表现性和感知维度，而不仅限于技术性信号分析。

提出的方法

• 开发描述框架，以分类和表征音乐演奏中的表现性维度，包括时序、力度、发音和音准。
• 推进基于音频的表现性演奏参数提取，超越基本的音符起始点和力度，采用复杂的信号处理与机器学习技术。
• 结合MIR进展与信息论模型及无监督学习，建模乐谱与音频层面上的结构感知。
• 构建判别性模型，利用大规模精心整理的语料库，识别演奏中预设的表现性信息。
• 构建预测性模型，以生成或修改演奏，使其表达特定的情感或风格特征。
• 设计并部署交互式演示系统，如共情音乐伴侣（Compassionate Music Companion），以测试实时、表现性的音乐互动。

实验结果

研究问题

• RQ1 计算模型如何更好地捕捉音乐感知与结构的非马尔可夫性、时间延展性特征？
• RQ2 机器学习系统在多大程度上能够识别和分类不同流派与演奏者之间的音乐演奏中的表现性特征（如“流畅”或“戏剧性”）？
• RQ3 MIR系统如何在实时现场音乐互动中学习预测并适应人类演奏者的表现风格？
• RQ4 除了时序与力度之外，哪些表现性特征最强烈地影响听众对音乐特质与情感的感知？
• RQ5 如何利用大规模、精心整理的表现性演奏语料库，训练模型以理解音乐结构与表现性表达之间的关系？

主要发现

• 当前的MIR系统缺乏基于冗余性与不可预测性等感知原则，区分音乐上有趣与单调作品的能力。
• 即使对人类听觉感知而言表现性特征（如“放松”或“流畅”）极为显著，计算机目前仍无法识别或分类这些特质。
• 在建模音乐结构与表现性演奏如何共同塑造作品感知特质方面，尤其在古典音乐中，仍存在显著差距。
• Con Espressione项目已启动一项众包游戏，用于评估不同演奏版本中人类对表现性特质感知的一致性，初步揭示了感知一致性的模式。
• 共情音乐伴侣（Compassionate Music Companion）作为项目的关键演示系统，旨在通过识别并适应演奏者的表现风格，实现实时、表现性的音乐互动。
• 该宣言提出音乐的六个核心“真理”——其时间性、非马尔可夫结构、以听觉为中心的感知、习得性欣赏、依赖演奏以及表现力——作为未来MIR研究的基石。