[论文解读] Evolving Character-level Convolutional Neural Networks for Text Classification

Trevor Londt, Xiaoying Gao+2 more|arXiv (Cornell University)|Dec 3, 2020

Evolutionary Algorithms and Applications参考文献 32被引用 4

一句话总结

本文提出一种基于代理模型的进化深度学习算法，利用遗传编程自动演化用于文本分类的最优字符级卷积神经网络（char-CNN）架构。该方法在准确率上优于五个手工设计的CNN模型和一个LSTM模型，同时通过代理模型显著缩短了训练时间，结果表明网络宽度和早期阶段的特征丰富度能显著提升性能。

ABSTRACT

Character-level convolutional neural networks (char-CNN) require no knowledge of the semantic or syntactic structure of the language they classify. This property simplifies its implementation but reduces its classification accuracy. Increasing the depth of char-CNN architectures does not result in breakthrough accuracy improvements. Research has not established which char-CNN architectures are optimal for text classification tasks. Manually designing and training char-CNNs is an iterative and time-consuming process that requires expert domain knowledge. Evolutionary deep learning (EDL) techniques, including surrogate-based versions, have demonstrated success in automatically searching for performant CNN architectures for image analysis tasks. Researchers have not applied EDL techniques to search the architecture space of char-CNNs for text classification tasks. This article demonstrates the first work in evolving char-CNN architectures using a novel EDL algorithm based on genetic programming, an indirect encoding and surrogate models, to search for performant char-CNN architectures automatically. The algorithm is evaluated on eight text classification datasets and benchmarked against five manually designed CNN architecture and one long short-term memory (LSTM) architecture. Experiment results indicate that the algorithm can evolve architectures that outperform the LSTM in terms of classification accuracy and five of the manually designed CNN architectures in terms of classification accuracy and parameter count.

研究动机与目标

• 为解决文本分类中缺乏最优char-CNN架构的问题，此类架构通常需人工设计且调优耗时。
• 克服固定深度、浅层char-CNN无法通过增加深度提升准确率的局限。
• 通过进化计算自动化搜索高性能的char-CNN架构，减少对专家知识的依赖以及高昂的试错成本。
• 评估代理模型与间接编码在加速生成有效、可训练的char-CNN架构方面的有效性。
• 探究影响char-CNN性能的架构特性，如宽度、深度和路径密度。

提出的方法

• 采用一种新颖的基于遗传编程的算法SurDG-EC，通过间接编码演化char-CNN架构，确保所有生成的网络在结构上有效且可训练。
• 间接编码方案通过紧凑的基因型表示架构，实现对庞大架构空间的高效探索。
• 采用代理模型预测候选网络的验证准确率，而无需完整训练，从而大幅降低计算成本。
• 进化过程通过在数据子集上进行反向传播进行适应度评估，结合选择、交叉和变异操作，逐步演化出性能更优的表型。
• 表型评估包括对路径密度、参数量、深度和激活图的分析，以理解架构对性能的影响。
• 该算法在八个文本分类数据集上与五个手工设计的CNN模型及一个LSTM架构进行基准对比。

实验结果

研究问题

• RQ1 进化深度学习方法能否在无需人工设计或领域专业知识的情况下自动发现高性能的char-CNN架构？
• RQ2 哪些架构特性（如深度、宽度或路径密度）最显著地提升char-CNN的分类准确率？
• RQ3 与完整训练相比，使用代理模型在演化char-CNN时对效率和效果有何影响？
• RQ4 架构宽度，尤其是早期层的宽度，在多大程度上能提升char-CNN的性能？
• RQ5 对演化网络的系谱分析能否揭示出解释性能提升的模式或设计原则？

主要发现

• SurDG-EC算法演化出的char-CNN架构在多个数据集上的分类准确率超过了最先进的VDCNN-29-Kmax模型。
• 所演化模型在参数更少的情况下实现了与五个手工设计CNN相当或更优的准确率，表明参数效率更高。
• 有充分证据表明，早期层的宽度增加能显著提升性能，表明架构的广度是提升泛化能力的关键因素。
• 输入与输出层之间路径数少于25条的表型表现出更高准确率，表明过度分支会降低性能。
• 网络深度与准确率呈正相关，直至约十个模块（20个卷积层），之后性能开始下降，表明在无跳跃连接的情况下深度存在性能上限。
• 激活图可视化显示，高性能模型中神经元响应稀疏且具有选择性，表明高效、稀疏的表征可能是有效char-CNN的标志。