[论文解读] Learning audio representations via phase prediction

Félix de Chaumont Quitry, Marco Tagliasacchi+1 more|arXiv (Cornell University)|Oct 25, 2019

Music and Audio Processing参考文献 28被引用 10

一句话总结

本文提出了一种自监督音频表征学习方法，通过卷积编码器-解码器架构，从音频的幅度谱图中预测瞬时频率（即相位的时间导数）。该方法在多种下游任务中表现出色，并通过提供更优的相位初始化，显著提升了Griffin-Lim波形重建效果，证明了相位预测能够生成可泛化、可迁移的表征。

ABSTRACT

We learn audio representations by solving a novel self-supervised learning task, which consists of predicting the phase of the short-time Fourier transform from its magnitude. A convolutional encoder is used to map the magnitude spectrum of the input waveform to a lower dimensional embedding. A convolutional decoder is then used to predict the instantaneous frequency (i.e., the temporal rate of change of the phase) from such embedding. To evaluate the quality of the learned representations, we evaluate how they transfer to a wide variety of downstream audio tasks. Our experiments reveal that the phase prediction task leads to representations that generalize across different tasks, partially bridging the gap with fully-supervised models. In addition, we show that the predicted phase can be used as initialization of the Griffin-Lim algorithm, thus reducing the number of iterations needed to reconstruct the waveform in the time domain.

研究动机与目标

• 开发一种新型自监督学习任务，用于音频表征学习，且无需标注数据。
• 探究从幅度谱图中预测瞬时频率是否能生成可泛化、可迁移的表征。
• 评估预测相位作为Griffin-Lim波形重建初始值的实用性。
• 在下游迁移性能方面，将所提出的相位预测方法与现有自监督方法进行比较。

提出的方法

• 卷积编码器将音频波形的幅度谱图映射为低维嵌入。
• 卷积解码器从嵌入中预测瞬时频率（即相位的时间导数）。
• 模型通过在预测瞬时频率上的重建损失进行端到端训练。
• 通过在时间上对预测的瞬时频率进行积分，获得预测相位。
• 使用谱图的幅度对相位预测损失进行加权，以优先关注能量更高的区域。
• 通过在多种下游音频任务上的线性分类评估所学表征。

实验结果

研究问题

• RQ1 从幅度谱图中预测瞬时频率是否能在自监督方式下生成有效的音频表征？
• RQ2 所提出的相位预测方法在多个下游任务中与其它自监督音频表征学习方法相比，性能如何？
• RQ3 预测相位在多大程度上能提升Griffin-Lim算法的波形重建收敛速度？
• RQ4 通过相位预测学习到的表征是否与自编码器或其他自监督任务的表征具有互补性？

主要发现

• 所提出的相位预测方法性能与其它自监督方法相当，尤其在NSynthPitch和MUSAN任务上表现尤为出色。
• 在LibriSpeech和NSynthPitch任务上，该方法的性能优于或等同于Audio2Vec及其他基线模型。
• 预测相位为Griffin-Lim算法提供了更优的初始化，显著减少了达到频谱收敛所需的迭代次数，如图2所示。
• 将相位预测与自编码器的幅度重建相结合的混合模型，在多个任务（如LibriSpeech、Bird Audio Detection和NSynthInstrument）上进一步提升了性能。
• 该方法对相位预测损失的加权策略具有鲁棒性，其中基于幅度的加权策略在部分任务（如Speech Commands和Spoken Language Identification）上表现略优。
• 通过相位预测学习到的表征与其他自监督任务的表征具有互补性，表明集成方法有望进一步提升泛化能力。