[论文解读] Global optimization for low-dimensional switching linear regression and bounded-error estimation

Fabien Lauer|arXiv (Cornell University)|Jul 18, 2017

Sparse and Compressive Sensing Techniques参考文献 21被引用 11

一句话总结

本文提出了一种分支定界算法，用于低维切换线性回归与误差有界估计的全局优化，通过连续参数优化实现经认证的全局最优性。该方法在大规模数据集上实现了高精度与可扩展性——可在数秒内求解包含数千个点的问题，优于凸松弛方法与启发式方法，尤其在稀疏、大误差或高异常值率条件下表现更优。

ABSTRACT

The paper provides global optimization algorithms for two particularly difficult nonconvex problems raised by hybrid system identification: switching linear regression and bounded-error estimation. While most works focus on local optimization heuristics without global optimality guarantees or with guarantees valid only under restrictive conditions, the proposed approach always yields a solution with a certificate of global optimality. This approach relies on a branch-and-bound strategy for which we devise lower bounds that can be efficiently computed. In order to obtain scalable algorithms with respect to the number of data, we directly optimize the model parameters in a continuous optimization setting without involving integer variables. Numerical experiments show that the proposed algorithms offer a higher accuracy than convex relaxations with a reasonable computational burden for hybrid system identification. In addition, we discuss how bounded-error estimation is related to robust estimation in the presence of outliers and exact recovery under sparse noise, for which we also obtain promising numerical results.

研究动机与目标

• 解决现有局部或启发式方法在切换线性回归与误差有界估计中缺乏全局最优性保证的问题。
• 为低维设置下具有大量数据点的混合系统辨识问题，开发可扩展的全局优化算法。
• 提供无条件的全局最优性证书，无需依赖限制性假设或整数规划重构。
• 在稀疏、大误差或高异常值率条件下实现鲁棒估计，此时凸松弛方法会失效。
• 在NP难的非凸问题中实现全局优化的实际计算效率。

提出的方法

• 采用直接优化连续模型参数的分支定界框架，避免使用二值变量与混合整数规划重构。
• 在参数空间的每个盒（超矩形）内推导高效、可计算的代价函数下界。
• 使用恒定分类准则以收紧下界并加速收敛。
• 应用简单、计算快速的下界，以迅速排除高代价区域。
• 优化两种损失函数：非凸的 $\varepsilon$-依赖 $\varepsilon$-损失（$\ell_{0,\varepsilon}$）与 $\varepsilon$-正则化最小二乘损失（$\ell_{2,\varepsilon}$）。
• 采用连续优化设置，以保持对数据规模的可扩展性，与以往依赖数据量增长而性能急剧下降的方法形成对比。

实验结果

研究问题

• RQ1 是否可以在不依赖限制性假设或混合整数规划的情况下，实现切换线性回归与误差有界估计的全局优化？
• RQ2 如何为大规模数据集下的非凸混合系统辨识问题提供全局最优性保证？
• RQ3 在稀疏、大误差或高异常值率条件下，所提算法相较于凸松弛方法与启发式方法的性能优势有多大？
• RQ4 全局优化在低维、高数据量场景下的计算可扩展性如何？
• RQ5 在对抗性异常值条件下，所提全局优化方法与 $\varepsilon$-范数启发式方法的性能相比如何？

主要发现

• 所提全局优化算法可在数秒内求解包含数千个数据点的切换线性回归问题，并提供全局最优性证书。
• 在 $\varepsilon=1.5\sigma_{\xi}$ 的误差有界估计中，$\varepsilon$-损失最小化达到近似最优性能，当异常值比例超过60%时优于 $\varepsilon$-范数启发式方法。
• $\varepsilon$-损失方法在对抗性正向大误差（如 $|\xi_i|$）条件下仍保持近似最优误差，而 $\varepsilon$-范数启发式方法在异常值超过50%后即失效。
• 在线性与仿射模型中，精确恢复率分别达到98%的异常值，而 $\varepsilon$-范数启发式方法在直线情况中仅能恢复80%，在仿射情况中仅43%（正向异常值）。
• 计算时间保持合理：异常值比例达90%时，计算时间不足1秒；98%时，不足10秒；99%时，最多2分钟（无解）。
• 该方法提供无条件的全局最优性保证，而以往方法需依赖数据相关或无噪声条件。