[论文解读] A general framework for locating hyperplanes to fitting set of points

Víctor Blanco, Justo Puerto+1 more|arXiv (Cornell University)|May 13, 2015

Advanced Statistical Methods and Models参考文献 26被引用 7

一句话总结

本文提出了一种统一的数学规划框架，用于通过多种基于距离的残差和聚合准则拟合超平面。该框架引入了一种广义决定系数以实现不同模型间的公平比较，并通过基于 R 的实验表明，该框架在各种误差范数和优化范式下均能实现灵活、稳健且计算高效的超平面拟合。

ABSTRACT

This paper presents a family of new methods for locating/fitting hyperplanes with respect to a given set of points. We introduce a general framework for a family of aggregation criteria of different distance-based errors. The most popular methods found in the specialized literature can be cast within this family as particular choices of the errors and the aggregation criteria. Mathematical programming formulations for these methods are stated and some interesting cases are analyzed. It is also proposed a new goodness of fitting index which extends the classical coefficient of determination. A series of illustrative examples and extensive computational experiments implemented in R are provided to show the performances of some of the proposed methods.

研究动机与目标

• 开发一种通用且灵活的框架，用于通过多种基于距离的残差和聚合函数拟合点集的超平面。
• 将现有方法（如最小二乘法、L1、极小化最大值和鲁棒拟合）统一并扩展至单一数学规划公式中。
• 提出一种广义决定系数，以实现不同拟合范式之间的公平比较。
• 提供从线性到混合整数非线性规划的计算可处理公式，可在 R 中实现以供实际应用。
• 通过在真实和合成数据集上进行广泛计算实验，验证框架的性能。

提出的方法

• 该框架将超平面拟合问题建模为一个数学规划问题，通过最小化每个数据点 x 的个体残差 εx(β) 的全局聚合函数 Φ 来实现。
• 残差被定义为点到超平面的距离度量，允许灵活选择范数（例如，ℓτ 范数、块范数）和聚合函数（例如，求和、最大值、有序加权平均）。
• 优化模型涵盖连续凸规划（CP）到混合整数非线性规划（MINLP），并为关键情形（如 ℓ1、ℓ2 和极小化最大值拟合）推导出具体公式。
• 提出一种新的广义决定系数，将经典 R² 扩展至可比较超平面拟合与最优常数模型之间的拟合优度。
• 该框架支持正则化（例如，ℓ2-范数约束），并通过附加约束可扩展至多超平面拟合和二值数据。
• 所有模型均使用 Gurobi 在 R 中实现并测试，实现了可复现且可扩展的计算验证。

实验结果

研究问题

• RQ1 如何设计一个统一框架，以容纳用于超平面拟合的多种基于距离的残差和聚合准则？
• RQ2 在超平面拟合中，使用不同范数（例如，ℓ1、ℓ2、ℓ∞）和聚合函数（例如，求和、最大值、有序加权平均）在计算和建模方面有何影响？
• RQ3 能否开发一种广义的拟合优度指数，以公平比较基于不同拟合准则的模型？
• RQ4 所提出的公式在不同数据集上的解质量与计算效率表现如何？
• RQ5 该框架在多大程度上可扩展以处理正则化、多超平面拟合或二值数据？

主要发现

• 所提出的框架成功地将经典方法（如最小二乘法（SOS）、L1 回归（SUM）和极小化最大值（MAX））作为单一数学规划公式的特例统一起来。
• 计算实验表明，在存在异常值的情况下，ℓ1.5-范数（1.5SUM）和 k-竞争（kC）准则的拟合结果比标准最小二乘法具有更低的中位数残差，表现出更强的鲁棒性。
• AkC 和 MED 准则在 Durbin-Watson 数据集上表现优异，中位数残差低于 0.06，ε90 值低于 0.07，优于标准 SUM 和 SOS 在鲁棒性方面的表现。
• 广义决定系数成功扩展了经典 R²，使得在不同拟合范式（包括非最小二乘方法）之间实现一致的模型比较成为可能。
• 该框架的灵活性使得通过 ℓ2-范数约束实现有效正则化成为可能，且未显著降低解的质量。
• 使用 Gurobi 在 R 中的实现能够高效求解复杂的 MINLP 公式，展示了其在数据分析师中的可扩展性和实际可用性。