[论文解读] Least Squares Rational Approximation

Jeffrey M. Hokanson, Caleb C. Magruder|arXiv (Cornell University)|Nov 30, 2018

Model Reduction and Neural Networks参考文献 21被引用 7

一句话总结

本文提出了一种非线性最小二乘方法，用于处理具有密集且可能病态的权重矩阵的有理逼近问题——此前此类问题在标准方法下难以求解——通过变量投影（VARPRO）降低优化维度。通过使用AAA算法获得的极点进行初始化，并采用多项式或部分分式参数化，该方法实现了加权最小二乘有理逼近的高精度解，从而支持新型${\rm H}_2$模型降阶技术。

ABSTRACT

Rational approximation appears in many contexts throughout science and engineering, playing a central role in linear systems theory, special function approximation, and many others. There are many existing methods for solving the rational approximation problem, from fixed point methods like the Sanathanan-Koerner iteration and Vector Fitting, to partial interpolation methods like Adaptive Anderson Antoulas (AAA). While these methods can often find rational approximations with a small residual norm, they are unable to find optimizers with respect to a weighted l2 norm with a square dense weighting matrix. Here we develop a nonlinear least squares approach constructing rational approximations with respect to this norm. We explore this approach using two parameterizations of rational functions: a ratio of two polynomials and a partial fraction expansion. In both cases, we show how we can use Variable Projection (VARPRO) to reduce the dimension of the optimization problem. As many applications seek a real rational approximation that can be described as a ratio of two real polynomials, we show how this constraint can be enforced in both parameterizations. Although this nonlinear least squares approach often converge to suboptimal local minimizers, we find this can be largely mitigated by initializing the algorithm using the poles of the AAA algorithm applied to the same data. This combination of initialization and nonlinear least squares enables us to construct rational approximants using dense and potentially ill-conditioned weight matrices such as those that appear as a step in new H2 model reduction algorithm recently developed by the authors.

研究动机与目标

• 解决在新型${\rm H}_2$模型降阶算法中出现的一般密集、方阵权重矩阵${\mathbf{W}}$下的有理逼近最小二乘方法缺失问题。
• 开发一种非线性最小二乘框架，能够处理非对角权重矩阵，克服现有固定点法或基于插值的方法（如Vector Fitting或AAA）的局限性。
• 在物理系统要求下强制生成实有理逼近，确保逼近函数为实系数多项式的比值。
• 通过结合非线性最小二乘与基于AAA极点的鲁棒初始化策略，提升收敛至全局最小值的能力。

提出的方法

• 使用有理函数的多项式比形式参数化 $ r(z; {\mathbf{a}}, {\mathbf{b}}) = p(z; {\mathbf{a}})/q(z; {\mathbf{b}}) $，其中 $ {\mathbf{a}} $、$ {\mathbf{b}} $ 为系数向量。
• 采用部分分式展开 $ r(z) = \sum_{k=1}^n \frac{\rho_k}{z - \lambda_k} $ 作为替代参数化方式，以提升数值稳定性。
• 应用变量投影（VARPRO）隐式求解线性参数（如留数 $ \rho_k $），将非线性优化问题降维至更少变量。
• 通过在两种参数化中均约束极点与留数为实数或共轭复数对，强制实现实有理逼近。
• 使用对相同数据应用AAA算法所得的极点初始化非线性最小二乘求解器，显著提升收敛至全局最优解的能力。
• 求解加权最小二乘问题 $ \min \| {\mathbf{W}}(f({\mathcal{Z}}) - r({\mathcal{Z}})) \|_2^2 $，其中 $ {\mathbf{W}} $ 为密集矩阵，可能病态，例如柯西矩阵的平方根倒数。

实验结果

研究问题

• RQ1 能否有效将非线性最小二乘框架适配于处理有理逼近中密集且非对角的权重矩阵？现有方法无法容纳此类矩阵。
• RQ2 VARPRO如何应用于具有多项式与部分分式参数化的有理逼近问题，以降低优化维度？
• RQ3 使用AAA算法获得的极点初始化非线性最小二乘求解器，是否能显著改善在病态权重下收敛至全局最小值的能力？
• RQ4 在加权最小二乘准则下，能否通过两种参数化可靠构造实有理逼近？如何在数值上实现该约束？
• RQ5 在投影的${\rm H}_2$模型降阶框架中，当权重矩阵为非对角时，所提方法相较于标准算法（如Vector Fitting）的性能优势有多大？

主要发现

• 所提方法即使在密集且病态的权重矩阵下，仍能以高精度计算满足一阶最优性条件的有理逼近。
• 使用AAA算法所得极点进行初始化，显著缓解了收敛至次优局部极小值的问题，实现了对高质量解的可靠收敛。
• 在CD播放器模型上，该方法的残差范数低于Vector Fitting，尤其在高阶逼近中表现更优，归因于其对非对角权重的处理能力。
• 对于包含150个采样点的CD播放器模型，采用实系数部分分式参数化的该方法在阶数$ (5,6) $时达到相对残差范数 $ \|{\mathbf{W}}(f - r)\|_2 / \|{\mathbf{W}}f\|_2 \approx 10^{-12} $，优于Vector Fitting。
• 该方法可推广至矩阵值有理逼近，通过将VARPRO应用于留数矩阵；然而，强制实现低秩留数（如秩-1）仍是开放挑战。