[论文解读] Genetic Programming and Gradient Descent: A Memetic Approach to Binary Image Classification

Benjamin Patrick Evans, Harith Al-Sahaf+2 more|arXiv (Cornell University)|Sep 28, 2019

Evolutionary Algorithms and Applications参考文献 18被引用 7

一句话总结

本文提出一种膜式方法，将遗传编程（GP）与梯度下降相结合，以改进二值图像分类。通过在GP的进化过程中整合基于梯度下降的局部搜索，该方法实现了更小、更具可解释性的模型，并实现了更快的推理速度——尽管测试准确率与基线GP相比保持相当，凸显了在模型紧凑性和效率方面的提升。

ABSTRACT

Image classification is an essential task in computer vision, which aims to categorise a set of images into different groups based on some visual criteria. Existing methods, such as convolutional neural networks, have been successfully utilised to perform image classification. However, such methods often require human intervention to design a model. Furthermore, such models are difficult to interpret and it is challenging to analyse the patterns of different classes. This paper presents a hybrid (memetic) approach combining genetic programming (GP) and Gradient-based optimisation for image classification to overcome the limitations mentioned. The performance of the proposed method is compared to a baseline version (without local search) on four binary classification image datasets to provide an insight into the usefulness of local search mechanisms for enhancing the performance of GP.

研究动机与目标

• 解决深度学习模型在图像分类中的局限性，特别是可解释性差以及对人工设计架构的依赖。
• 克服标准遗传编程在图像分类中的不足，如模型尺寸过大以及缺乏微调能力。
• 探究将梯度下降作为局部搜索机制是否能提升基于GP的图像分类性能与模型特性。
• 通过自动演化紧凑、人类可读的图像分类流水线，提升模型的可解释性与效率。
• 评估混合进化-梯度方法中训练时间、模型大小与推理速度之间的权衡。

提出的方法

• 使用遗传编程演化图像分类流水线，其中个体为结合卷积、池化与激活操作的树形程序结构。
• 在每次GP生成后引入局部搜索阶段，对卷积滤波器权重与激活参数应用梯度下降进行微调。
• 使用反向传播计算卷积层的梯度，并更新滤波器权重以最小化分类损失。
• 对最终输出应用Sigmoid激活函数，将其映射为二元类别概率（0或1）。
• 对每个个体固定执行若干轮次的局部搜索以优化模型，学习率作为超参数。
• 基于验证集上的分类准确率评估适应度，并在局部搜索过程中使用早停策略以防止过拟合。

实验结果

研究问题

• RQ1 与标准GP相比，将梯度下降作为局部搜索机制是否能提升基于GP的图像分类器的分类准确率？
• RQ2 引入局部搜索如何影响图像分类任务中演化出的GP树的大小与复杂度？
• RQ3 混合GP-梯度下降方法能否产生比标准GP或传统CNN更可解释、更高效的模型？
• RQ4 在基于GP的图像分类背景下，局部搜索对推理速度与训练时间有何影响？
• RQ5 局部搜索在多大程度上增强了模型泛化能力？自适应学习率策略是否能进一步提升性能？

主要发现

• 所提出的膜式方法在测试准确率上与基线GP方法相当，未在统计学上显著提升分类性能。
• 尽管准确率未提升，局部搜索方法在所有数据集上均显著减小了平均树的大小，包括JAFFE与CMU Faces数据集，表明模型更加紧凑。
• 即使未施加对简洁性的显式选择压力，仍观察到更小的树结构，表明梯度下降自然促进了模型压缩。
• 由于模型复杂度降低，该方法在许多情况下实现了更快的推理速度，尽管因局部搜索导致训练时间增加。
• 演化出的模型表现出高度可解释性，例如在Hands数据集上的一个示例通过高对比度滤波与最小池化清晰识别出手指区域。
• 局部搜索并未损害模型可解释性，反而生成了更简单、更高效的模型，凸显了混合进化-梯度方法的优势。