[论文解读] Hartley Spectral Pooling for Deep Learning

Hao Zhang, Jianwei Ma|arXiv (Cornell University)|Oct 7, 2018

Neural Networks and Applications参考文献 35被引用 16

一句话总结

本文提出霍尔特利谱池化（HSP），一种实值谱池化方法，通过将特征图转换到霍尔特利频域、截断高频分量并转换回空间域，来替代卷积神经网络（CNN）中的传统最大池化/平均池化或步长大卷积。与传统池化方法相比，HSP能保留更多结构信息，从而在MNIST、Fashion-MNIST和CIFAR-10上实现更快收敛和更高准确率，MNIST测试误差为0.32%，CIFAR-10为8.63%，同时避免了傅里叶方法中使用的复数运算。

ABSTRACT

In most convolution neural networks (CNNs), downsampling hidden layers is adopted for increasing computation efficiency and the receptive field size. Such operation is commonly so-called pooling. Maximation and averaging over sliding windows (max/average pooling), and plain downsampling in the form of strided convolution are popular pooling methods. Since the pooling is a lossy procedure, a motivation of our work is to design a new pooling approach for less lossy in the dimensionality reduction. Inspired by the Fourier spectral pooling(FSP) proposed by Rippel et. al. [1], we present the Hartley transform based spectral pooling method in CNNs. Compared with FSP, the proposed spectral pooling avoids the use of complex arithmetic for frequency representation and reduces the computation. Spectral pooling preserves more structure features for network's discriminability than max and average pooling. We empirically show that Hartley spectral pooling gives rise to the convergence of training CNNs on MNIST and CIFAR-10 datasets.

研究动机与目标

• 设计一种比最大池化或平均池化更少信息损失的CNN维数压缩方法，以保留更多结构信息。
• 克服基于复数的谱池化方法（如傅里叶方法）的局限性，例如需处理虚部和共轭对称性。
• 提出一种基于霍尔特利变换的实值替代方案，保持计算效率并兼容标准CNN架构。
• 探究保留更多频域信息是否能提升深度网络的训练收敛速度与泛化能力。
• 将HSP的性能与效率与基于傅里叶和DCT的谱池化方法，以及标准的最大池化/平均池化和步长大卷积进行比较。

提出的方法

• 对每个特征图应用离散霍尔特利变换（DHT），将空间数据转换为实值频域分量。
• 通过截断DHT频谱中的最高频分量实现低通滤波，仅保留最低频分量。
• 将截断后的频谱反变换回空间域，生成维度降低的下采样特征图。
• 该方法完全避免复数运算，因为霍尔特利变换仅基于实数运算，简化了实现并降低了计算开销。
• 通过在特定下采样阶段用HSP层替换残差网络（ResNet）中的步长大卷积或池化层，将方法集成到ResNet中。
• 每个HSP层的输出维度可配置（例如20×20、12×12、4×4），实现对空间下采样程度的灵活控制。

实验结果

研究问题

• RQ1 使用霍尔特利变换的谱池化是否在CNN中比最大池化或平均池化具有更好的特征保留能力和分类准确率？
• RQ2 与标准池化或步长大卷积相比，霍尔特利谱池化是否能提升深度网络的训练收敛速度与稳定性？
• RQ3 在准确率、训练时间和参数效率方面，霍尔特利谱池化与基于傅里叶和DCT的谱池化相比表现如何？
• RQ4 在谱池化中使用实值变换是否能消除对复数运算和共轭对称性校正的需求，从而简化实现？
• RQ5 HSP是否能无需大规模架构调整而有效集成到现代残差网络中，且是否能保持或提升泛化能力？

主要发现

• 霍尔特利谱池化（HSP）在MNIST上实现0.32%的测试误差，优于ResNet20（0.36%）和ResNet16（0.36%），参数量减少15%。
• 在Fashion-MNIST上，HSP将测试误差降低至6.26%（最佳结果），优于ResNet20的6.91%，但每轮训练时间增加30%。
• 在CIFAR-10上，HSP实现8.63%的测试误差，优于ResNet16（8.87%）和DCTSP-ResNet15（8.81%），尽管训练时间多出约1000秒。
• HSP在训练初期表现出更快收敛，如训练曲线所示，表明其优化动力学更优。
• 尽管准确率略低于DCTSP，HSP显著更快：在Fashion-MNIST上训练时间约为DCTSP的一半，在CIFAR-10上不足DCTSP的二分之一。
• 该方法表明，保留更多频域信息可增强特征判别性，并支持深度网络中更好的泛化能力。