[论文解读] A Mathematical Motivation for Complex-valued Convolutional Networks

Joan Bruna|arXiv (Cornell University)|Mar 11, 2015

Image and Signal Denoising Methods参考文献 20被引用 8

一句话总结

本文提出复值卷积网络（复值卷积神经网络）作为一种数学上严谨的框架，用于在深度学习中学习多尺度、数据驱动的加窗谱。通过结合复数卷积、绝对值非线性激活以及局部平均操作，该架构精确对应于多尺度加窗功率谱和非线性多小波包，从而能够严格应用调和分析，并在基准任务上实现与实值网络相当的性能。

ABSTRACT

A complex-valued convolutional network (convnet) implements the repeated application of the following composition of three operations, recursively applying the composition to an input vector of nonnegative real numbers: (1) convolution with complex-valued vectors followed by (2) taking the absolute value of every entry of the resulting vectors followed by (3) local averaging. For processing real-valued random vectors, complex-valued convnets can be viewed as "data-driven multiscale windowed power spectra," "data-driven multiscale windowed absolute spectra," "data-driven multiwavelet absolute values," or (in their most general configuration) "data-driven nonlinear multiwavelet packets." Indeed, complex-valued convnets can calculate multiscale windowed spectra when the convnet filters are windowed complex-valued exponentials. Standard real-valued convnets, using rectified linear units (ReLUs), sigmoidal (for example, logistic or tanh) nonlinearities, max. pooling, etc., do not obviously exhibit the same exact correspondence with data-driven wavelets (whereas for complex-valued convnets, the correspondence is much more than just a vague analogy). Courtesy of the exact correspondence, the remarkably rich and rigorous body of mathematical analysis for wavelets applies directly to (complex-valued) convnets.

研究动机与目标

• 通过将复值卷积神经网络与多尺度加窗谱及小波理论相联系，建立其理论基础。
• 证明复值卷积神经网络自然实现了数据驱动的多尺度加窗绝对值谱和非线性多小波包。
• 表明该架构的结构使得小波与多小波的丰富数学理论可直接应用于深度学习。
• 将复值卷积神经网络作为深度学习的合理基线架构进行激励，尤其适用于信号与图像处理任务。
• 在基准数据集上，通过实证验证复值卷积神经网络与标准实值网络及散射变换的性能对比。

提出的方法

• 网络采用递归结构：先进行复数卷积，随后应用绝对值激活函数，最后进行局部平均（下采样）。
• 该架构在形式上与平稳随机过程的多尺度加窗功率谱相联系。
• 绝对值操作实现了局部平移不变性，并捕捉类似能量的特征，类似于小波包变换。
• 通过多尺度的分层滤波与非线性操作，该方法可推广至非线性多小波包。
• 该框架基于调和分析，与多贝西小波、多小波及散射变换存在理论关联。
• 网络在真实世界数据上进行端到端训练，并与实值ReLU网络及基于散射的模型进行性能比较。

实验结果

研究问题

• RQ1 复值卷积神经网络如何在调和分析中与多尺度加窗谱建立正式联系？
• RQ2 复值卷积神经网络中绝对值非线性激活的数学解释是什么？
• RQ3 复值卷积神经网络在多大程度上实现了多小波与小波包变换的数据驱动类比？
• RQ4 小波与多小波的理论框架在多大程度上可直接用于分析和改进深度学习架构？
• RQ5 复值卷积神经网络在标准基准测试中与实值网络及散射变换相比，性能如何？

主要发现

• 复值卷积神经网络计算数据驱动的多尺度加窗谱，其结果与非线性多小波包变换精确对应。
• 该架构的结构使得可直接应用严谨的调和分析工具（如小波理论中的工具）于深度学习。
• 该方法在ImageNet上的测试误差率为12%，与实值网络性能相当，显著优于散射变换。
• 复值卷积神经网络的性能随网络规模和训练深度的增加而提升，表明其具备良好的可扩展性与强大的表征能力。
• 通过镜像图像增强训练数据可加快收敛并提高最终准确率，表明其具有较高的数据效率。
• 理论基础支持复值卷积神经网络作为深度学习的合理基线架构，尤其适用于信号与图像建模任务。