[论文解读] Linear Time Complexity Deep Fourier Scattering Network and Extension to Nonlinear Invariants

Randall Balestriero, Hervé Glotin|arXiv (Cornell University)|Jul 18, 2017

Image and Signal Denoising Methods参考文献 16被引用 6

一句话总结

本文提出了一种线性时间复杂度的深度傅里叶散射网络，通过引入高阶非线性性和基于傅里叶的不变性，扩展了传统散射网络，实现了直接在傅里叶域内高效、低功耗的特征提取。该方法在鸟类鸣叫分类任务中实现了最先进性能（52.4% MAP），且在分类器之外无需任何学习过程，通过稀疏矩阵运算和确定性、不变的表征实现。

ABSTRACT

In this paper we propose a scalable version of a state-of-the-art deterministic time-invariant feature extraction approach based on consecutive changes of basis and nonlinearities, namely, the scattering network. The first focus of the paper is to extend the scattering network to allow the use of higher order nonlinearities as well as extracting nonlinear and Fourier based statistics leading to the required invariants of any inherently structured input. In order to reach fast convolutions and to leverage the intrinsic structure of wavelets, we derive our complete model in the Fourier domain. In addition of providing fast computations, we are now able to exploit sparse matrices due to extremely high sparsity well localized in the Fourier domain. As a result, we are able to reach a true linear time complexity with inputs in the Fourier domain allowing fast and energy efficient solutions to machine learning tasks. Validation of the features and computational results will be presented through the use of these invariant coefficients to perform classification on audio recordings of bird songs captured in multiple different soundscapes. In the end, the applicability of the presented solutions to deep artificial neural networks is discussed.

研究动机与目标

• 开发一种可扩展、确定性的特征提取框架，实现对音频信号等结构化输入的时间不变性和鲁棒性。
• 通过用二次非线性替换复模数非线性，扩展散射网络，以提升信噪比并实现在傅里叶域内的完整计算。
• 通过利用稀疏表示和傅里叶域卷积，实现真正的线性时间复杂度，从而支持低功耗和在线部署。
• 在具有高噪声、类别不平衡和可变录音条件的真实世界挑战性音频数据集上验证该方法。
• 通过实现高效、可学习的特征提取而无需端到端训练，证明该框架在深度学习中的适用性。

提出的方法

• 在傅里叶域中推导整个散射网络，以利用小波滤波器的稀疏性和结构，通过稀疏矩阵乘法实现快速卷积。
• 用二次非线性替换标准的复模数非线性，以提升信噪比并提取高阶统计不变性。
• 使用算术平均值（一阶统计量）和离散系数（二阶统计量）计算散射系数，以捕捉时间不变且具有判别性的特征。
• 利用母小波在傅里叶域中导出的带通小波滤波器，结合伸缩因子 λ，构建分层表征。
• 全程采用稀疏存储和算术运算，支持 GPU 加速，并实现在边缘设备上的低功耗计算。
• 使用类别加权损失的随机森林进行分类，仅使用提取的散射系数和离散系数作为特征，无需额外预处理或特征工程。

实验结果

研究问题

• RQ1 高阶非线性是否能在保持计算效率的同时提升散射网络的判别能力？
• RQ2 是否可能在不离开每一层后傅里叶域的情况下，完全在傅里叶域内计算整个散射网络，从而实现线性时间复杂度？
• RQ3 傅里叶域的稀疏表示和运算如何促进实时应用中高效、可扩展的特征提取？
• RQ4 从傅里叶散射网络中提取的确定性、不变特征是否能在无需端到端学习的情况下，实现复杂音频分类任务的最先进性能？
• RQ5 二阶统计量（离散系数）在提升在不平衡、噪声音频数据集上的分类性能方面有何贡献？

主要发现

• 所提出的傅里叶散射网络通过在傅里叶域中使用稀疏矩阵表示执行所有运算，实现了与输入大小成线性时间复杂度。
• 与复模数相比，使用二次非线性可提升信噪比，并可推导出如离散系数等二阶不变特征。
• 该框架在鸟类鸣叫分类任务中实现了 52.4% 的平均平均精度（MAP），与先前工作中报告的 53% 最先进结果相当，且未在分类器之外进行任何学习。
• 该方法无需任何预处理、特征工程或数据增强，完全依赖从信号中提取的确定性、不变特征。
• 由于依赖简单算术和稀疏运算，该框架支持高效、并行和 GPU 加速的实现，可在低功耗设备上部署。
• 结果表明，散射系数与离散系数提供了互补信息，其拼接可获得最佳分类性能。