[论文解读] Minimal Learning Machine: Theoretical Results and Clustering-Based Reference Point Selection

Joonas Hämäläinen, Alisson S. C. Alencar+4 more|arXiv (Cornell University)|Sep 22, 2019

Machine Learning and ELM参考文献 67被引用 12

一句话总结

本文建立了最小学习机（MLM）的理论基础，证明了其插值与通用逼近能力，并提出了基于聚类的参考点选择方法，显著提升了回归任务中随机选择的泛化性能。RS-maximin方法表现最优，兼具更优的性能、更紧凑的模型结构与更高的效率。

ABSTRACT

The Minimal Learning Machine (MLM) is a nonlinear supervised approach based on learning a linear mapping between distance matrices computed in the input and output data spaces, where distances are calculated using a subset of points called reference points. Its simple formulation has attracted several recent works on extensions and applications. In this paper, we aim to address some open questions related to the MLM. First, we detail theoretical aspects that assure the interpolation and universal approximation capabilities of the MLM, which were previously only empirically verified. Second, we identify the task of selecting reference points as having major importance for the MLM's generalization capability. Several clustering-based methods for reference point selection in regression scenarios are then proposed and analyzed. Based on an extensive empirical evaluation, we conclude that the evaluated methods are both scalable and useful. Specifically, for a small number of reference points, the clustering-based methods outperformed the standard random selection of the original MLM formulation.

研究动机与目标

• 正式建立最小学习机（MLM）的插值与通用逼近性质，这些性质此前仅通过实验观察得到。
• 研究参考点选择在决定MLM泛化能力中的关键作用。
• 提出并评估MLM回归场景中基于聚类的参考点选择方法。
• 从准确性、可扩展性与模型紧凑性角度，对比基于聚类的选择方法与标准随机选择的性能。

提出的方法

• 理论分析证明，在较弱条件下，MLM的输入与输出距离矩阵之间的线性映射可确保插值与通用逼近。
• 该方法通过基于平方欧几里得距离的线性系统实现多边测量，以从参考点估计输出值。
• 引入基准锚点（BAN）将基于距离的估计转换为线性系统，从而实现未知点位置的恢复。
• 提出基于聚类的参考点选择方法，如k-means、k-medoids与RS-maximin，以替代随机选择。
• RS-maximin方法通过最大化点间最小距离来选择参考点，提升覆盖范围与泛化能力。
• 通过RMSE与测试误差方差的实证评估，对比多种方法在多个数据集上的性能与鲁棒性。

实验结果

研究问题

• RQ1 MLM是否具备独立于实证验证的插值与通用逼近理论保证？
• RQ2 参考点的选择如何影响MLM在回归任务中的泛化性能？
• RQ3 基于聚类的方法是否在准确性与模型紧凑性方面优于随机参考点选择？
• RQ4 哪种基于聚类的方法在MLM参考点选择中实现了性能、可扩展性与计算效率的最佳平衡？

主要发现

• 理论分析确认，MLM具备通用逼近与插值能力，且估计误差有界，取决于参考点的配置。
• 基于聚类的参考点选择始终优于随机选择，尤其在参考点数量较少时表现更优。
• RS-maximin方法取得了最佳综合性能，展现出更优的泛化能力、更紧凑的模型尺寸与更高效的计算。
• 基于聚类的方法在RMSE测试误差的方差上显著更低，表明预测更稳定。
• 参考点选择强烈影响密集区域插值与稀疏区域外推之间的平衡。
• 结果表明，将聚类方法与监督学习结合，可为数据结构与模型行为提供有价值的洞见。