[论文解读] Approximate Regularization Path for Nuclear Norm Based H2 Model Reduction

Niclas Blomberg, Cristian R. Rojas+1 more|arXiv (Cornell University)|Jul 22, 2014

Probabilistic and Robust Engineering Design参考文献 13被引用 4

一句话总结

该论文提出了一种高效算法，通过利用对偶间隙上界来限制解的误差，计算基于核范数的 $H_2$ 模型降阶的近似正则化路径。通过仅求解固定数量的凸优化问题，该方法在正则化参数范围内近似得到最优解的完整路径，并保证误差容忍度，从而实现稳健的模型阶数选择和迭代重加权策略。

ABSTRACT

This paper concerns model reduction of dynamical systems using the nuclear norm of the Hankel matrix to make a trade-off between model fit and model complexity. This results in a convex optimization problem where this trade-off is determined by one crucial design parameter. The main contribution is a methodology to approximately calculate all solutions up to a certain tolerance to the model reduction problem as a function of the design parameter. This is called the regularization path in sparse estimation and is a very important tool in order to find the appropriate balance between fit and complexity. We extend this to the more complicated nuclear norm case. The key idea is to determine when to exactly calculate the optimal solution using an upper bound based on the so-called duality gap. Hence, by solving a fixed number of optimization problems the whole regularization path up to a given tolerance can be efficiently computed. We illustrate this approach on some numerical examples.

研究动机与目标

• 解决基于核范数的 $H_2$ 模型降阶中选择最优正则化参数的挑战，该参数需在模型拟合度与复杂度之间取得关键平衡。
• 克服计算核范数最小化完整正则化路径的计算负担，这是稀疏估计技术的非平凡扩展。
• 提供一种计算高效的近似方法，将整个正则化路径逼近至用户定义的容忍度 $\varepsilon$ 以内，从而支持实际的模型阶数选择。
• 通过基于近似路径动态调整正则化参数，支持核范数最小化中的迭代重加权方案。
• 构建一个框架，保证真实解位于计算路径的 $\varepsilon$-近似区域内，从而在无需完整路径枚举的情况下确保可靠性。

提出的方法

• 将 $H_2$ 模型降阶问题表述为核范数约束的优化问题，通过核范数最小化实现类似秩的约束，以最小化 $H_2$ 误差。
• 引入对偶间隙上界 $d_t^{\text{max}}$，用于量化在每个正则化参数 $t$ 处，近似解与真实最优解之间的最大可能误差。
• 利用对偶间隙定义 $\varepsilon$-容忍度区域：对于近似解 $\tilde{g}^*$，真实解位于 $[f_t(\tilde{g}^*) - d_t^{\text{max}}, f_t(\tilde{g}^*)]$ 区间内。
• 设计一种自适应算法，仅在对偶间隙达到 $\varepsilon$ 的关键 $t^*_i$ 值处计算精确解，从而以最少的计算量确保全局精度。
• 在每个区间 $(t_{i-1}^*, t_i^*)$ 内，通过核范数约束 $\|\mathcal{H}(\tilde{g})\|_* \leq 1$ 下的凸优化计算近似解 $\tilde{g}_i^*$，并按 $t_i^*$ 进行缩放。
• 利用 Hankel 矩阵 $\mathcal{H}(g)$ 及其奇异值分解的结构，通过奇异值衰减监测模型阶数，指导用户对系统阶数的决策。

实验结果

研究问题

• RQ1 如何在不求解完整优化问题序列的情况下，高效地近似基于核范数的 $H_2$ 模型降阶的完整正则化路径？
• RQ2 可采用何种误差界来保证近似解位于用户定义的容忍度 $\varepsilon$ 以内？
• RQ3 核范数最小化中的对偶间隙是否可用作停止准则，以限制所需精确优化的次数？
• RQ4 所提方法如何支持核范数最小化中的迭代重加权方案，其中正则化参数需在每次迭代中调整？
• RQ5 基于近似正则化路径，Hankel 矩阵的奇异值衰减在多大程度上可用于指导模型阶数选择？

主要发现

• 所提方法仅通过固定数量的精确优化求解，即可计算出近似正则化路径，与密集网格评估相比显著降低了计算成本。
• 对偶间隙上界 $d_t^{\text{max}}$ 有效将真实解限制在 $\varepsilon$-容忍度区域内，确保了理论上的精度保证。
• 在数值模拟中，近似路径紧密跟随真实路径（以黑色虚线表示），绿色/阴影区域代表近似值的上下界。
• 对于六阶系统，当 $t < 0.6$ 时，方法识别出二阶近似，表现为 $\mathcal{H}(g^*_i)$ 的第三奇异值显著下降，证实了模型阶数检测的有效性。
• 对于百阶系统，观察到多个奇异值下降，该方法使用户可根据路径行为选择期望的模型阶数（如十阶）。
• 对偶间隙计算中的数值误差导致 $t=0$ 附近出现轻微偏差，主要源于矩阵截断和浮点数运算，但并未损害整体路径的准确性。