[论文解读] Linear regression over the max-plus semiring: algorithms and applications

James Hook|arXiv (Cornell University)|Dec 10, 2017

Control Systems and Identification参考文献 14被引用 3

一句话总结

本文提出了一种基于经典优化技术的新型最大-加法 $2$-范数回归框架，实现了对三种反问题的最大似然估计：从噪声时间序列中识别最大-加法线性动态系统、从最短路径数据中推断网络边长，以及拟合最大-加法多项式函数。尽管 $2$-范数残差具有非凸性和非光滑性，但通过采用回溯策略的修正牛顿法，仍能实现对高质量解的实用收敛。

ABSTRACT

In this paper we present theory, algorithms and applications for regression over the max- plus semiring. We show how max-plus 2-norm regression can be used to obtain maximum likelihood estimates for three different inverse problems. Namely inferring a max-plus linear dynamical systems model from a noisy time series recording, inferring the edge lengths of a network from shortest path information and fitting a max-plus polynomial function to data.

研究动机与目标

• 开发一种理论基础扎实且计算上可行的最大-加法 $2$-范数回归方法，该方法具有非凸性和非光滑性，与理解充分的 $∞$-范数情形不同。
• 将最大-加法 $2$-范数回归应用于三个反问题：最大-加法线性动态系统的系统辨识、基于最短路径的网络边长推断，以及最大-加法多项式拟合。
• 通过将最大-加法矩阵-向量乘法重新表述为经典线性代数中的分段线性、非光滑映射，建立最大-加法代数与经典优化之间的桥梁，从而能够应用基于梯度的方法。
• 证明尽管启发式优化方法缺乏全局收敛性保证，但在实际反问题设置中仍能获得高质量解。
• 探讨最大-加法设置下 $2$-范数回归的理论与算法挑战，特别是局部最优性验证的 NP-难问题，并为未来工作提出方向。

提出的方法

• 将最大-加法矩阵-向量乘法 $A \otimes \bm{x}$ 重新表述为经典线性代数中的分段线性、非光滑映射，从而可应用标准优化技术。
• 应用最速下降法与带回溯的牛顿法，以最小化非凸、非光滑的 $2$-范数残差 $\|A \otimes \bm{x} - \bm{y}\|_2$。
• 通过变量替换将最大-加法多项式拟合问题转化为线性回归问题，从而可利用 $2$-范数回归实现最大似然估计。
• 使用最小-加法代数建模最短路径网络，并通过观测的最短路径时间推断边长，将问题表述为最小-加法线性系统。
• 在最小-加法网络中利用低秩近似与模型降阶技术，提取结构信息，例如社交网络中的邻域模式。
• 利用最大-加法与最小-加法代数之间的对偶性，将框架推广至不同反问题，包括网络推断与系统辨识。

实验结果

研究问题

• RQ1 尽管具有非凸性和非光滑性，最大-加法半环上的 $2$-范数回归能否被有效求解？
• RQ2 如何将最大-加法 $2$-范数回归应用于从噪声时间序列数据中估计最大-加法线性动态系统的参数？
• RQ3 能否将从最短路径测量中推断网络边长的问题表述为最大-加法或最小-加法回归问题？
• RQ4 最大-加法多项式回归在数据拟合中的适用程度如何？其在准确性和可解释性方面与经典多项式拟合相比有何表现？
• RQ5 在最大-加法 $2$-范数回归中，确保收敛性或最优性的算法与理论挑战是什么？在实践中如何缓解这些问题？

主要发现

• 最大-加法 $2$-范数回归问题具有非凸性和非光滑性，且判断某一点是否为局部最小值是 NP-难问题。
• 即使缺乏全局收敛性保证，采用回溯策略的修正牛顿法在实践中仍能成功收敛至高质量的近似解。
• 在最大-加法线性动态系统辨识中，该方法可从噪声时间序列中获得最大似然估计，示例 3.2 中残差为 $1.8247$，示例 5.3 中残差为 $1.7041$。
• 在多项式拟合中，该方法对四次最大-加法多项式实现了 $1.7041$ 的残差，表明其具有良好的数据逼近能力。
• 最小-加法网络推断框架成功从最短路径数据中恢复了边长，且通过模型降阶技术揭示了现实社交网络中的结构模式。
• 理论结果（如定理 6.2）凸显了局部最优性验证的内在困难，但提示结构化问题仍可能实现高效优化。