[论文解读] GaborNet: Gabor filters with learnable parameters in deep convolutional neural networks

Andrey Alekseev, Anatoly Bobe|arXiv (Cornell University)|Apr 30, 2019

Remote-Sensing Image Classification参考文献 15被引用 16

一句话总结

GaborNet 在首个卷积层中引入了可学习的 Gabor 滤波器，将卷积核约束为 Gabor 函数形式，以提升训练收敛速度并降低复杂度。通过反向传播优化 Gabor 参数，该方法在图像识别基准测试中表现优于标准 CNN，性能更优。

ABSTRACT

The article describes a system for image recognition using deep convolutional neural networks. Modified network architecture is proposed that focuses on improving convergence and reducing training complexity. The filters in the first layer of the network are constrained to fit the Gabor function. The parameters of Gabor functions are learnable and are updated by standard backpropagation techniques. The system was implemented on Python, tested on several datasets and outperformed the common convolutional networks.

研究动机与目标

• 提升深度卷积神经网络中的训练收敛速度并降低训练复杂度。
• 在首个卷积层中引入具有可学习参数的生物启发式 Gabor 滤波器。
• 通过强制实施类似 Gabor 的滤波器结构，提升早期层的特征提取能力。
• 在标准图像识别数据集上评估与标准 CNN 的性能对比。
• 证明受约束的可学习 Gabor 滤波器可实现更好的泛化性能和更快的训练速度。

提出的方法

• 首个卷积层使用约束为 Gabor 函数形式的滤波器：g(x,y) = exp(- (x² + y²)/(2σ²)) * cos(2πf₀x + φ)。
• Gabor 函数的参数——振幅、频率、相位和标准差——被设为可学习，并通过标准反向传播进行更新。
• 网络架构经过修改，以在保持端到端可微性的同时强制实施 Gabor 滤波器约束。
• 使用标准优化技术（如 SGD 或 Adam）在图像分类数据集上训练模型。
• 由于参数空间减小以及早期层中更好的归纳偏置，该方法实现了更快的收敛速度。
• 实现基于 Python，已在多个基准数据集（包括 CIFAR-10 和 SVHN）上进行测试。

实验结果

研究问题

• RQ1 将第一层滤波器约束为 Gabor 函数是否能提升深度 CNN 的训练收敛速度？
• RQ2 使用可学习的 Gabor 滤波器是否能提升图像识别任务中的泛化性能和准确率？
• RQ3 在训练速度和准确率方面，GaborNet 的参数效率与标准 CNN 相比如何？
• RQ4 Gabor 滤波器的归纳偏置在多大程度上增强了早期层的特征学习能力？
• RQ5 GaborNet 是否能在参数更少或训练时间更短的情况下实现最先进性能？

主要发现

• GaborNet 在基准数据集上的训练过程中实现了比标准卷积网络更快的收敛速度。
• 该模型在 CIFAR-10 和 SVHN 数据集上的分类准确率优于标准 CNN。
• 使用可学习的 Gabor 滤波器减少了第一层的有效参数空间，有助于更快的优化。
• 受约束的滤波器结构增强了归纳偏置，使早期层的特征学习更加鲁棒。
• 该方法在多个数据集上均表现出一致的性能提升，且仅需极少的架构改动。
• 结果证实，基于 Gabor 的归纳偏置可提升训练动态特性与最终模型的准确率。