[论文解读] Feeding Hand-Crafted Features for Enhancing the Performance of Convolutional Neural Networks

Sepidehsadat Hosseini, Seok Hee Lee+1 more|arXiv (Cornell University)|Jan 24, 2018

Face recognition and analysis参考文献 27被引用 25

一句话总结

本论文提出通过将手工设计的Gabor滤波器响应与输入图像一同输入，以增强卷积神经网络（CNN）在人脸相关任务中的性能。通过将Gabor特征与原始像素通过多通道张量输入或可学习加权融合相结合，模型在年龄/性别估计、人脸检测和面部表情识别任务中均取得更优性能，在基准数据集上超越了标准CNN。

ABSTRACT

Since the convolutional neural network (CNN) is be- lieved to find right features for a given problem, the study of hand-crafted features is somewhat neglected these days. In this paper, we show that finding an appropriate feature for the given problem may be still important as they can en- hance the performance of CNN-based algorithms. Specif- ically, we show that feeding an appropriate feature to the CNN enhances its performance in some face related works such as age/gender estimation, face detection and emotion recognition. We use Gabor filter bank responses for these tasks, feeding them to the CNN along with the input image. The stack of image and Gabor responses can be fed to the CNN as a tensor input, or as a fused image which is a weighted sum of image and Gabor responses. The Gabor filter parameters can also be tuned depending on the given problem, for increasing the performance. From the extensive experiments, it is shown that the proposed methods provide better performance than the conventional CNN-based methods that use only the input images.

研究动机与目标

• 探究手工设计的特征是否能提升CNN在人脸相关计算机视觉任务中的性能。
• 探索将Gabor滤波器响应作为辅助输入融入CNN，利用关于面部纹理和皱纹的领域知识。
• 评估通过多通道张量输入或可学习加权融合实现的特征融合，是否能增强特征学习与模型准确率。
• 证明在纹理和结构细节（如皱纹）至关重要的任务中，如年龄/性别估计和情绪识别，Gabor特征的有效性。
• 表明引入领域特定特征可在不增加模型复杂度的前提下，减少网络深度或提升准确率。

提出的方法

• 使用一组参数调优的滤波器（波长λ、方向θ、相位φ、空间频率γ和标准差σ）提取Gabor滤波器响应，以适配特定任务。
• 将原始输入图像与Gabor响应作为多通道张量（例如H×W×(C+K)，其中K为Gabor滤波器数量）直接输入CNN，将其视为多光谱图像处理。
• 或者，在网络的第一阶段应用可学习的1×1卷积层，将输入图像与Gabor响应融合为单一融合特征图。
• 使用标准CNN损失函数进行网络优化：分类任务使用交叉熵损失，人脸检测中的边界框回归使用L2损失。
• 针对特定任务（如面部表情识别）调优Gabor参数（例如λ=2.5，σ=1.4，γ=0.1），以增强纹理敏感性。
• 在标准基准数据集上进行训练与评估：UCFBnB用于年龄/性别估计，FDDB用于人脸检测，FER2013用于情绪识别。

实验结果

研究问题

• RQ1 手工设计的Gabor特征是否能提升CNN在年龄/性别估计、人脸检测和情绪识别等人脸相关任务中的性能？
• RQ2 通过多通道输入或可学习1×1卷积将Gabor响应与原始像素输入融合，是否能改善特征表示与模型准确率？
• RQ3 调优后的Gabor滤波器参数（如波长、方向、带宽）如何影响对人脸纹理和皱纹敏感的任务的性能？
• RQ4 集成领域特定特征是否能减少CNN所需的深度或计算成本，同时保持或提升准确率？
• RQ5 Gabor特征融合带来的性能增益是否在具有不同特征敏感度的多样化人脸相关任务中保持一致？

主要发现

• 所提方法在FDDB人脸检测基准上达到95.72%的验证准确率，优于MTCNN（95.4%）和Cascade CNN（95.1%），且参数量相近。
• 在年龄/性别估计任务中，采用Gabor融合的模型性能优于SOTA图像域CNN（如文献[16, 32]中的模型），尽管未报告具体数值。
• 在FER2013数据集上，GF-VGGNet模型达到72.198%的准确率，较基线VGGNet（69.08%）提升2.098%，并优于其他SOTA方法，包括SVM（71.162%）和无监督模型。
• 使用Gabor特征后，网络收敛速度加快，特征图激活更优，卷积层对皱纹和面部轮廓的检测能力显著增强。
• 该方法保持了实时推理速度，在与MTCNN和Cascade CNN相同的GPU上达到99 FPS，表明计算开销极低。
• 可视化分析证实，Gabor融合特征增强了网络对纹理和形状的敏感性，尤其在皱纹密度较高的区域表现更优。