[论文解读] A Review of Meta-level Learning in the Context of Multi-component, Multi-level Evolving Prediction Systems

Abbas Raza Ali, Marcin Budka+1 more|arXiv (Cornell University)|Jul 17, 2020

Data Stream Mining Techniques参考文献 92被引用 4

一句话总结

本文综述了用于演化、多组件、多层级预测系统的元级学习（MLL），提出了一套框架，以在非平稳数据环境中自动化算法选择与系统自适应。该框架利用元特征和元知识，实现实时智能推荐，覆盖数据预处理、学习算法选择及概念漂移处理，显著降低了对人工调优和专家干预的依赖。

ABSTRACT

The exponential growth of volume, variety and velocity of data is raising the need for investigations of automated or semi-automated ways to extract useful patterns from the data. It requires deep expert knowledge and extensive computational resources to find the most appropriate mapping of learning methods for a given problem. It becomes a challenge in the presence of numerous configurations of learning algorithms on massive amounts of data. So there is a need for an intelligent recommendation engine that can advise what is the best learning algorithm for a dataset. The techniques that are commonly used by experts are based on a trial and error approach evaluating and comparing a number of possible solutions against each other, using their prior experience on a specific domain, etc. The trial and error approach combined with the expert's prior knowledge, though computationally and time expensive, have been often shown to work for stationary problems where the processing is usually performed off-line. However, this approach would not normally be feasible to apply to non-stationary problems where streams of data are continuously arriving. Furthermore, in a non-stationary environment, the manual analysis of data and testing of various methods whenever there is a change in the underlying data distribution would be very difficult or simply infeasible. In that scenario and within an on-line predictive system, there are several tasks where Meta-learning can be used to effectively facilitate best recommendations including 1) pre-processing steps, 2) learning algorithms or their combination, 3) adaptivity mechanisms and their parameters, 4) recurring concept extraction, and 5) concept drift detection.

研究动机与目标

• 解决在实时非平稳数据流中选择最优学习算法的挑战。
• 减少在算法配置中对人工试错方法和专家干预的依赖。
• 为多组件、多层级预测系统开发可扩展的自动化推荐系统。
• 通过跟踪概念漂移和系统性能的元学习技术，实现实时系统自适应。
• 建立一个全面的元知识表示与检索框架，适用于多样化学习问题。

提出的方法

• 使用描述性、统计性、信息论、定位法和基于模型的方法从数据集中提取元特征（MFs）。
• 通过将元特征与先前应用的学习算法的性能指标相关联，构建元知识（MK）数据库。
• 使用元学习器，基于历史元知识，将新问题特征映射到最合适的算法。
• 应用定位法技术，使用轻量级、快速学习器作为代理，估算算法性能。
• 利用基于决策树的模型特征（例如，深度、节点数、形状、同质性）表示结构化问题特征。
• 将元特征整合为统一表示，以支持演化预测系统中的实时决策。

实验结果

研究问题

• RQ1 元级学习如何在非平稳环境中，有效为新出现的未见数据集推荐最优学习算法？
• RQ2 在多样化数据类型和问题领域中，哪些元特征对学习算法性能具有最强预测力？
• RQ3 如何高效地表示和检索元知识，以支持实时系统自适应？
• RQ4 元学习在多大程度上可减少在演化预测系统中对人工算法调优和专家干预的需求？
• RQ5 不同元特征提取方法（如定位法与基于模型的方法）在算法选择预测准确性方面如何比较？

主要发现

• 相关性统计、熵、互信息以及定位法性能等元特征，为算法选择提供了强有力的预测信号。
• 基于模型的元特征（如树深度、节点分布、分支长度）能有效捕捉结构复杂性，并指导算法推荐。
• 定位法显著降低了计算成本，通过使用快速代理学习器预测完整算法性能。
• 整合多种元特征类型（描述性、统计性、信息论性、基于模型）可提升元学习器的鲁棒性与泛化能力。
• 基于历史性能数据构建的元知识数据库，可在动态环境中实现低延迟、高精度的实时推荐。
• 该框架减少了对专家知识和人工调优的依赖，支持在多样化领域中可扩展地部署演化预测系统。