[论文解读] Audeo: Audio Generation for a Silent Performance Video

Kun Su, Xiulong Liu+1 more|arXiv (Cornell University)|Jun 23, 2020

Music and Audio Processing参考文献 44被引用 30

一句话总结

Audeo 提出一个完整的三阶段流水线，将俯视钢琴演奏视频转换为合成音乐：从视频预测 Piano-Roll，随后通过 GAN Refinement 成为伪 MIDI，再使用传统或深度 MIDI 合成器合成音频。

ABSTRACT

We present a novel system that gets as an input video frames of a musician playing the piano and generates the music for that video. Generation of music from visual cues is a challenging problem and it is not clear whether it is an attainable goal at all. Our main aim in this work is to explore the plausibility of such a transformation and to identify cues and components able to carry the association of sounds with visual events. To achieve the transformation we built a full pipeline named ` extit{Audeo}' containing three components. We first translate the video frames of the keyboard and the musician hand movements into raw mechanical musical symbolic representation Piano-Roll (Roll) for each video frame which represents the keys pressed at each time step. We then adapt the Roll to be amenable for audio synthesis by including temporal correlations. This step turns out to be critical for meaningful audio generation. As a last step, we implement Midi synthesizers to generate realistic music. extit{Audeo} converts video to audio smoothly and clearly with only a few setup constraints. We evaluate extit{Audeo} on `in the wild' piano performance videos and obtain that their generated music is of reasonable audio quality and can be successfully recognized with high precision by popular music identification software.

研究动机与目标

• 理解来自钢琴演奏的可视线索是否能合理地生成相应的音频。
• 开发一个可解释的端到端流水线，将视频帧映射为适合合成的音乐表示。
• 识别实现从不受约束的视频中稳健音频生成的可视、符号与合成组件。
• 在真实世界钢琴视频上评估系统，并使用标准工具评估生成音乐的可辨识性。

提出的方法

• Video2Roll Net 通过处理连续的五帧灰度图，使用基于 ResNet18 的多尺度特征注意力网络来预测每帧的按键，输出每个中间帧的 Piano-Roll M。
• Roll2Midi Net 使用 GAN（生成器 G，判别器 D）对预测的 Roll 进行 refinement 以生成适合合成的稳健伪 MIDI 表示。
• Midi Synth 使用经典 MIDI 合成（FluidSynth）和基于 PerfNet 的声谱图 refinement 的深度合成器，通过声谱图和 Griffin-Lim 将 MIDI 转换为音频，并提供可选的声谱图 refinement 步骤。

实验结果

研究问题

• RQ1 来自俯视钢琴视频的可视线索是否可以被转化为一个连贯的类似 MIDI 的表示，以支持音频合成？
• RQ2 三阶段流水线（Video2Roll → Roll2Midi → Midi Synth）是否能产生与视觉演奏一致并且能被音乐识别软件检测到的可听音乐？
• RQ3 使用基于 GAN 的 refinement 对 MIDI 预测质量和下游音频合成的影响是什么？
• RQ4 传统合成器与深度合成器在从预测的 MIDI 生成可辨识且准确的音乐方面有何比较？
• RQ5 系统对不受约束的视频和未见过的作曲家有多好的泛化能力？

主要发现

• Video2Roll Net 在逐帧按键预测上实现了更高的召回率并具备竞争力的精确度，相较于先前工作提升了 MIDI 的准确性。
• Roll2Midi Net 通过减少假阳性和假阴性来改进 MIDI 预测，提升 F1 分数超过先前的方法。
• 使用 FluidSynth 或基于 PerfNet 的声谱图 refinement 的 MIDI 合成产生的音乐在 SoundHound 的检测中，对于 Midi+FluidSynth 与 Midi+PerfNet 配置的准确性高于基线。
• 在所有评估中，Midi+FluidSynth 在主测试集上实现了最佳的总体音频检测率（85.6%），接近真实结果（87.7%）。
• 系统对演奏变体（节奏、连音、断音）具有鲁棒性并能泛化到未见过的作曲家，对于非训练风格的检测率约为 70%。
• 与 ResNet 基线相比，完整的 Audeo 流水线（Video2Roll + Roll2Midi + Midi Synth）在音乐相关指标上显著超越。