[论文解读] Evolving Classifiers: Methods for Incremental Learning

Greg Hulley, Tshilidzi Marwala|ArXiv.org|Sep 25, 2007

Domain Adaptation and Few-Shot Learning参考文献 14被引用 7

一句话总结

本文提出了一种基于遗传算法的增量学习方法——ILUGA（Incremental Learning Using Genetic Algorithm），通过动态演化分类器来避免灾难性遗忘。在OCR和Wine数据集上的评估显示，ILUGA分别实现了93%和94%的准确率，相较于Learn++在具有挑战性的OCR任务上高出4%，展现出在极少微调和少量基础分类器下的稳健性能。

ABSTRACT

The ability of a classifier to take on new information and classes by evolving the classifier without it having to be fully retrained is known as incremental learning. Incremental learning has been successfully applied to many classification problems, where the data is changing and is not all available at once. In this paper there is a comparison between Learn++, which is one of the most recent incremental learning algorithms, and the new proposed method of Incremental Learning Using Genetic Algorithm (ILUGA). Learn++ has shown good incremental learning capabilities on benchmark datasets on which the new ILUGA method has been tested. ILUGA has also shown good incremental learning ability using only a few classifiers and does not suffer from catastrophic forgetting. The results obtained for ILUGA on the Optical Character Recognition (OCR) and Wine datasets are good, with an overall accuracy of 93% and 94% respectively showing a 4% improvement over Learn++.MT for the difficult multi-class OCR dataset.

研究动机与目标

• 解决数据按顺序而非一次性到达的动态环境中增量学习的挑战。
• 开发一种无需完整重训练即可随时间演化分类器的方法，以保留先前学习到的知识。
• 克服灾难性遗忘问题，即在增量学习中，新数据覆盖旧知识的常见问题。
• 提升在增量学习任务中的分类准确率，特别是在多分类和复杂数据集（如OCR）中。
• 评估遗传算法在演化可适应新数据的增量分类器方面的有效性。

提出的方法

• ILUGA使用遗传算法演化一组基础分类器，根据从增量数据批次中获得的适应度分数选择并组合它们。
• 该方法使用适应度函数，评估分类器在新数据和先前见过的数据上的表现，以平衡准确率和知识保留。
• 通过在种群中高性能个体上执行交叉和变异操作，生成新分类器，从而实现自适应演化。
• ILUGA通过剔除低性能个体并仅在性能提升时整合新个体，保持分类器集合的紧凑性。
• 该算法通过根据增量反馈重新加权或替换组件，动态调整分类器集成，从而最小化重训练开销。
• 该方法设计为可扩展且高效，仅需少量基础分类器即可实现高准确率。

实验结果

研究问题

• RQ1 基于遗传算法的方法是否能有效演化分类器以实现增量学习，且避免灾难性遗忘？
• RQ2 在从顺序数据批次学习时，ILUGA与Learn++相比在准确率和稳定性方面表现如何？
• RQ3 使用少量分类器对增量学习系统性能有何影响？
• RQ4 在多分类场景中，ILUGA是否能在适应新数据的同时保持对先前学习类别的高准确率？
• RQ5 能否有效利用进化计算构建在动态学习环境中自适应、可自我更新的分类器系统？

主要发现

• ILUGA在多分类光学字符识别（OCR）数据集上实现了93%的准确率，相较于Learn++高出4%。
• 在Wine数据集上，ILUGA达到94%的准确率，在增量学习场景中优于Learn++。
• 该方法表现出对灾难性遗忘的强大抵抗力，在增量更新过程中保持了对先前学习类别的性能。
• ILUGA仅使用少量基础分类器即实现高准确率，表明其具有高效性和可扩展性。
• 基于遗传算法的演化过程实现了稳定且自适应的分类器更新，无需完整重训练。
• 结果证实，进化计算可有效应用于增量学习，为传统增量方法提供了一种可行的替代方案。