[论文解读] Cross-modal variational inference for bijective signal-symbol translation

Axel Chemla--Romeu-Santos, Stavros Ntalampiras+3 more|arXiv (Cornell University)|Feb 10, 2020

Music and Audio Processing被引用 4

一句话总结

本文提出了一种基于双射变分推断的框架，用于跨模态信号-符号转换，采用两个特定领域的变分自编码器（VAEs）并共享潜在空间。通过强制潜在表示之间的加法匹配，该模型实现了双向生成——即从音频到符号的转录与从符号到音频的合成——同时支持任意符号词汇表，并可通过连续潜在空间探索实现创造性控制。

ABSTRACT

Extraction of symbolic information from signals is an active field of research enabling numerous applications especially in the Musical Information Retrieval domain. This complex task, that is also related to other topics such as pitch extraction or instrument recognition, is a demanding subject that gave birth to numerous approaches, mostly based on advanced signal processing-based algorithms. However, these techniques are often non-generic, allowing the extraction of definite physical properties of the signal (pitch, octave), but not allowing arbitrary vocabularies or more general annotations. On top of that, these techniques are one-sided, meaning that they can extract symbolic data from an audio signal, but cannot perform the reverse process and make symbol-to-signal generation. In this paper, we propose an bijective approach for signal/symbol translation by turning this problem into a density estimation task over signal and symbolic domains, considered both as related random variables. We estimate this joint distribution with two different variational auto-encoders, one for each domain, whose inner representations are forced to match with an additive constraint, allowing both models to learn and generate separately while allowing signal-to-symbol and symbol-to-signal inference. In this article, we test our models on pitch, octave and dynamics symbols, which comprise a fundamental step towards music transcription and label-constrained audio generation. In addition to its versatility, this system is rather light during training and generation while allowing several interesting creative uses that we outline at the end of the article.

研究动机与目标

• 解决音乐信息检索中单向、非通用的信号到符号转录方法的局限性。
• 通过统一的生成模型，实现音频信号与符号注释（如音高、力度、八度）之间的双向转换。
• 支持任意符号词汇表，包括复杂的音乐符号（如颤音或演奏方式），而不仅限于基本的音高检测。
• 为信号与符号生成提供统一的潜在空间，从而实现可控的音频合成与控制。
• 将源分离与显式分解相结合，以提升乐器识别能力并增强模型可解释性。

提出的方法

• 将信号-符号转换建模为音频与符号领域联合密度估计问题。
• 训练两个独立的VAE——一个用于频谱特征（信号），一个用于符号注释（如音高、力度）——并共享潜在空间。
• 通过两个VAE潜在表示之间的加法约束，强制潜在空间对齐，以实现跨域推理。
• 使用变分推断近似潜在变量在信号与符号领域中的后验分布。
• 通过使用另一领域的解码器解码来自某一领域的潜在代码，实现跨域生成（例如，信号编码器 → 符号解码器）。
• 引入一种新型源分离模块，采用分离解码器与混合系数的贝叶斯推理网络，以提升乐器识别能力。

实验结果

研究问题

• RQ1 统一的变分自编码器框架能否实现音频信号与符号音乐注释之间的双向、双射转换？
• RQ2 此类模型在标准音高与力度之外的任意符号词汇表上，泛化能力如何？
• RQ3 潜在空间共享在多大程度上支持可控的音频合成与符号生成？
• RQ4 该模型能否支持如频谱变形与潜在空间中的序列导航等创造性音频生成任务？
• RQ5 显式源分离的集成在多声部音乐转录中的性能提升效果如何？

主要发现

• 该模型实现了双向转换：利用共享的、结构化的潜在空间，实现了高精度的信号到符号转录与符号到信号的生成。
• 系统支持任意符号词汇表，包括复杂的音乐符号（如颤音或演奏指法），支持灵活且用户自定义的标注方案。
• 潜在空间探索支持多样化的创造性应用，如频谱变形、自由轨迹导航与基于序列的音频生成。
• 模型可通过条件化于符号标签（如特定音高、力度）实现半监督生成，并采样出多样化的音频实现。
• 通过分离解码器与显式源分离的集成，提升了乐器识别能力，并实现了对多声部混合信号更准确的分解。
• 该方法在训练与推理阶段均具有计算效率，支持实时与交互式应用。