[论文解读] A brief introduction to the Grey Machine Learning

Xin Ma|arXiv (Cornell University)|May 4, 2018

Grey System Theory Applications被引用 43

一句话总结

论文介绍了灰色机器学习（GML），这是灰色系统理论的基于核的方法扩展，它通过核方法在小样本动态系统中估计未知非线性函数，将灰色模型与 LSSVM 联系起来。

ABSTRACT

This paper presents a brief introduction to the key points of the Grey Machine Learning (GML) based on the kernels. The general formulation of the grey system models have been firstly summarized, and then the nonlinear extension of the grey models have been developed also with general formulations. The kernel implicit mapping is used to estimate the nonlinear function of the GML model, by extending the nonparametric formulation of the LSSVM, the estimation of the nonlinear function of the GML model can also be expressed by the kernels. A short discussion on the priority of this new framework to the existing grey models and LSSVM have also been discussed in this paper. And the perspectives and future orientations of this framework have also been presented.

研究动机与目标

• 激发将灰色系统理论与机器学习结合，以处理小样本动态系统中的未知非线性关系。
• 通过用基于核的估计器替代未知非线性函数，推广灰色模型。
• 表明基于核的正则化估计为灰色模型提供一个灵活的半参数框架。
• 提供实践实现和待解决的开放问题，以指导未来的GML发展。

提出的方法

• 给出含未知函数 phi(t) 的GML的一般连续/离散形式。
• 在高维特征空间建立线性表示，将 phi(t) 表达为 omega^T phi(x(t))。
• 使用核方法通过 K(x(k), x(t)) 计算内积，并求解正则化最小二乘问题（岭回归）以获得 lambda 和 b。
• 推导一个线性系统（核化的代表定理解）以获得非线性估计 hat{y}(t)。
• 通过线性和核组件的结合，扩展到半参数估计。
• 讨论在GML语境下的核选择、超参数调优和训练算法。

实验结果

研究问题

• RQ1 灰色模型如何使用基于核的估计器来包含未知非线性关系？
• RQ2 支撑核方法在GML中估计非线性部分的计算和理论基础是什么？
• RQ3 基于核的正则化形式在小样本场景下是否优于经典灰色模型和像LSSVM这样的静态ML模型？
• RQ4 将GML应用于现实世界的动态系统时，哪些实际考虑因素和未解决的问题？
• RQ5 在GML框架内，半参数扩展与非参数核估计相比如何？

主要发现

• GML中的非线性函数可以表示为核和 hat{phi}(t)=sum lambda_k K(x(k), x(t))。
• GML简化为一个涉及核矩阵 Omega 的线性系统，并解出 lambda 和 b。
• 该框架将GML定位为已知线性灰色结构与基于核的非线性组件的组合。
• GML 与表示定理一致，支持在正则化学习中进行基于核的估计。
• 以往研究中的实证结果表明，GML在小样本下的非线性动力学方面可能优于经典灰色模型和静态LSSVM。