[论文解读] SEGEN: SAMPLE-ENSEMBLE GENETIC EVOLUTIONARY NETWORK MODEL

Jiawei Zhang, Limeng Cui+1 more|arXiv (Cornell University)|Sep 27, 2018

Machine Learning and Data Classification参考文献 26被引用 7

一句话总结

SEGEN 提出了一种样本-集成遗传进化网络模型，通过遗传进化优化在多代中构建浅层、多样化的单元模型，利用扩散传播和集成学习融合其输出。该方法在显著减少数据、计算和调参成本的同时，实现了与深度学习模型相当的性能，并展现出更强的可解释性。

ABSTRACT

Deep learning, a rebranding of deep neural network research works, has achieved a remarkable success in recent years. With multiple hidden layers, deep learning models aim at computing the hierarchical feature representations of the observational data. Meanwhile, due to its severe disadvantages in data consumption, computational resources, parameter tuning costs and the lack of result explainability, deep learning has also suffered from lots of criticism. In this paper, we will introduce a new representation learning model, namely Sample-Ensemble Genetic Evolutionary Network (SEGEN), which can serve as an alternative approach to deep learning models. Instead of building one single deep model, based on a set of sampled sub-instances, SEGEN adopts a genetic-evolutionary learning strategy to build a group of unit models generations by generations. The unit models incorporated in SEGEN can be either traditional machine learning models or the recent deep learning models with a much narrower and shallower architecture. The learning results of each instance at the final generation will be effectively combined from each unit model via diffusive propagation and ensemble learning strategies. From the computational perspective, SEGEN requires far less data, fewer computational resources and parameter tuning efforts, but has sound theoretic interpretability of the learning process and results. Extensive experiments have been done on several different real-world benchmark datasets, and the experimental results obtained by SEGEN have demonstrated its advantages over the state-of-the-art representation learning models.

研究动机与目标

• 解决深度学习模型存在的高数据、计算和调参需求问题。
• 在不牺牲性能的前提下，提升表征学习的可解释性。
• 通过浅层、多样化的模型进化优化，开发一种可扩展的深度学习替代方案。
• 通过跨代传播实例级预测结果，实现有效的集成学习。
• 在真实世界基准数据集上展示卓越的效率和性能。

提出的方法

• SEGEN 从采样的子实例构建单元模型群体，利用遗传进化策略在多代中进行演化。
• 单元模型可选自传统机器学习模型或窄深度、浅层的深度学习架构。
• 每一代均基于适应度评估进行演化，对模型配置应用选择、交叉和变异操作。
• 最终预测通过扩散传播聚合，将实例级输出在集成中传播，以增强鲁棒性。
• 集成学习结合所有单元模型的输出，生成最终预测，提升泛化能力。
• 该框架通过追踪多代中模型演化和特征贡献，强调可解释性。

实验结果

研究问题

• RQ1 遗传进化框架能否有效优化一组多样化的浅层模型，使其性能达到深度学习水平？
• RQ2 与标准深度学习模型相比，SEGEN 在多大程度上降低了数据和计算需求？
• RQ3 扩散传播与集成学习的结合如何提升预测准确率和稳定性？
• RQ4 SEGEN 是否能在实现竞争性表征学习结果的同时保持强可解释性？
• RQ5 与最先进模型相比，SEGEN 在多样化真实世界基准数据集上的表现如何？

主要发现

• SEGEN 在多个真实世界基准数据集上实现了具有竞争力的性能，优于当前最先进表征学习模型。
• 与深度学习对应模型相比，该模型显著减少了数据和计算资源需求。
• 由于轻量级模型的进化优化，参数调优工作量大幅降低。
• 学习过程和结果展现出强大的理论可解释性，支持可追溯的模型行为分析。
• 扩散传播与集成学习策略有效结合预测结果，显著提升鲁棒性和准确率。
• 进化框架成功在多代中演化出多样化且高性能的单元模型。