[论文解读] Deep Long Audio Inpainting

Ya-Liang Chang, Kuan-Ying Lee+3 more|arXiv (Cornell University)|Nov 15, 2019

Music and Audio Processing参考文献 43被引用 23

一句话总结

该论文提出了首个针对长音频修复（>200 ms）的基准数据集与深度学习框架，提出基于频谱图和波形的新型模型，采用感受野设计、空洞卷积与门控卷积，并引入感知损失。在SC09和ESC-50数据集上实现了最先进性能，表明感受野大小与音频表征方式对修复质量具有显著影响。

ABSTRACT

Long (> 200 ms) audio inpainting, to recover a long missing part in an audio segment, could be widely applied to audio editing tasks and transmission loss recovery. It is a very challenging problem due to the high dimensional, complex and non-correlated audio features. While deep learning models have made tremendous progress in image and video inpainting, audio inpainting did not attract much attention. In this work, we take a pioneering step, exploring the possibility of adapting deep learning frameworks from various domains inclusive of audio synthesis and image inpainting for audio inpainting. Also, as the first to systematically analyze factors affecting audio inpainting performance, we explore how factors ranging from mask size, receptive field and audio representation could affect the performance. We also set up a benchmark for long audio inpainting. The code will be available on GitHub upon accepted.

研究动机与目标

• 建立首个基于SC09和ESC-50数据集的长音频修复（>200 ms）基准。
• 探究将图像修复、音频合成及Deep Image Prior模型的深度学习方法适配至长音频修复任务的可行性。
• 系统分析关键架构因素——感受野、掩码大小、音频表征方式（波形/频谱图）及卷积类型——对修复性能的影响。
• 开发并评估新型深度学习框架，实现无约束长音频修复，在定量与定性结果上均表现优越。
• 识别现有方法及基于GAN的损失函数在长音频修复中的局限性，并提出未来研究方向。

提出的方法

• 提出一种基于频谱图的深度神经网络，采用空洞卷积与门控卷积，以建模音频信号中的长程依赖关系。
• 开发一种基于波形的模型，采用相似架构，直接从原始波形中重建缺失音频。
• 采用L1损失与基于频谱图特征的感知损失，以提升修复音频的结构保真度与感知质量。
• 使用Griffin-Lim算法将频谱图转换回波形以进行评估，利用邻近区域的相位提示以提升重建质量。
• 开展消融实验，评估感受野大小、掩码比例、卷积核大小与模型深度对修复性能的影响。
• 微调一个最先进的图像修复模型（应用于频谱图）并评估Deep Image Prior作为基线进行对比。

实验结果

研究问题

• RQ1 不同感受野大小如何影响深度学习模型在长音频修复中的性能？
• RQ2 音频表征方式的选择（波形 vs. 频谱图）在多大程度上影响修复质量与泛化能力？
• RQ3 掩码大小（从0.1到0.25秒）如何影响模型恢复缺失音频段的能力？
• RQ4 图像修复与音频合成领域中的模型能否被有效适配用于长音频修复任务？
• RQ5 感知损失与基于GAN的损失在提升修复音频自然度与真实感方面起到何种作用？

主要发现

• 感受野必须至少与掩码大小相当，才能成功修复长间隙；当超过某一阈值后，性能趋于平稳或下降。
• 具有固定感受野的模型可处理0.1至0.16秒的掩码长度，但当掩码超过感受野容量时即失效。
• 所提出的基于频谱图的模型在SC09与ESC-50数据集上均实现了低于基线的L1损失与感知误差，且在主观音质方面有显著提升。
• 基于波形的模型在感知质量方面优于基线方法，尤其在保持语音可懂度与自然感方面表现更优。
• 本研究中GAN损失未带来性能提升，表明当前架构下对抗性训练可能对长音频修复无益处。
• 失败案例常表现为“衰减效应”：掩码起始与结束处声音逐渐减弱，表明相位与振幅恢复缺乏足够上下文信息。