[論文レビュー] Least Squares Rational Approximation

Jeffrey M. Hokanson, Caleb C. Magruder|arXiv (Cornell University)|Nov 30, 2018

Model Reduction and Neural Networks参考文献 21被引用数 7

ひとこと要約

本稿では、密度的かつ悪条件である可能性のある重み行列を伴う有理関数近似に対して、従来の手法では取り扱えなかった非線形最小二乗法を、変数射影（VARPRO）を用いて最適化次元を低減することで提案する。AAAアルゴリズムの極を初期化に用い、多項式または部分分数のパラメータ化を採用することで、重み付き最小二乗有理関数近似に対して高精度な解を得ることができ、新たな ${\rm H}_2$ モデル低減手法の実現を可能にする。

ABSTRACT

Rational approximation appears in many contexts throughout science and engineering, playing a central role in linear systems theory, special function approximation, and many others. There are many existing methods for solving the rational approximation problem, from fixed point methods like the Sanathanan-Koerner iteration and Vector Fitting, to partial interpolation methods like Adaptive Anderson Antoulas (AAA). While these methods can often find rational approximations with a small residual norm, they are unable to find optimizers with respect to a weighted l2 norm with a square dense weighting matrix. Here we develop a nonlinear least squares approach constructing rational approximations with respect to this norm. We explore this approach using two parameterizations of rational functions: a ratio of two polynomials and a partial fraction expansion. In both cases, we show how we can use Variable Projection (VARPRO) to reduce the dimension of the optimization problem. As many applications seek a real rational approximation that can be described as a ratio of two real polynomials, we show how this constraint can be enforced in both parameterizations. Although this nonlinear least squares approach often converge to suboptimal local minimizers, we find this can be largely mitigated by initializing the algorithm using the poles of the AAA algorithm applied to the same data. This combination of initialization and nonlinear least squares enables us to construct rational approximants using dense and potentially ill-conditioned weight matrices such as those that appear as a step in new H2 model reduction algorithm recently developed by the authors.

研究の動機と目的

• 一般の密度的正方重み行列 ${\mathbf{W}}$ を伴う最小二乗有理関数近似のための手法が不足していることに対処すること。これは、新しい ${\rm H}_2$ モデル低減アルゴリズムに生じる。
• 非対角重み行列を扱える非線形最小二乗フレームワークを構築すること。これにより、ベクトルフィッティングやAAAのような固定点法や補間に基づく既存手法の制限を克服する。
• 物理的システムが要求する場合に実有理関数近似を強制すること。これにより、近似関数が実多項式の比として保証される。
• AAAアルゴリズムの極を用いた堅牢な初期化戦略と非線形最小二乗法を組み合わせることで、グローバル最小値への収束を向上させること。

提案手法

• 有理関数を $ r(z; {\mathbf{a}}, {\mathbf{b}}) = p(z; {\mathbf{a}})/q(z; {\mathbf{b}}) $ の形で多項式の比としてパラメータ化し、$ {\mathbf{a}} $, $ {\mathbf{b}} $ を係数ベクトルとする。
• 数値的安定性を向上させるために、部分分数展開 $ r(z) = \sum_{k=1}^n \frac{\rho_k}{z - \lambda_k} $ を代替パラメータ化として採用する。
• 変数射影（VARPRO）を適用し、線形パラメータ（例：残留項 $ \rho_k $）を暗黙的に解き、非線形最適化の変数を削減する。
• 両方のパラメータ化において、極と残留項を実数または複素共役対に制約することで、実有理関数近似を強制する。
• 非線形最小二乗ソルバーを、同じデータにAAAアルゴリズムを適用して得た極を用いて初期化することで、グローバル最小値への収束を著しく改善する。
• Cauchy行列の逆平方根に相当するような、密度的かつ悪条件である可能性のある行列 $ {\mathbf{W}} $ を伴う重み付き最小二乗問題 $ \min \| {\mathbf{W}}(f({\mathcal{Z}}) - r({\mathcal{Z}})) \|_2^2 $ を解く。

実験結果

リサーチクエスチョン

• RQ1 非対角重み行列を伴う有理関数近似において、従来の手法が対応できない密度的で非対角な重み行列を効果的に扱える非線形最小二乗フレームワークを構築できるか？
• RQ2 VARPROを多項式および部分分数パラメータ化の両方の有理関数近似問題に適用することで、最適化次元を低減できるか？
• RQ3 AAAアルゴリズムの極を用いた初期化が、悪条件な重みがある状況でも非線形最小二乗ソルバーのグローバル最小値への収束を著しく改善するか？
• RQ4 両方のパラメータ化を用いて、重み付き最小二乗基準下で実有理関数近似を信頼性高く構築できるか。また、その数値的強制方法は何か？
• RQ5 提案手法が、非対角重み行列を持つ場合、特に予測される ${\rm H}_2$ モデル低減フレームワークにおいて、標準的手法（例：ベクトルフィッティング）をどの程度上回るか？

主な発見

• 提案手法は、密度的かつ悪条件な重み行列でさえも、第一階微分最適性条件を高精度に満たす有理関数近似を計算できることを示した。
• AAAアルゴリズムの極を用いた初期化により、局所的最適解への収束が著しく抑制され、高品質な解への信頼性の高い収束が実現された。
• CDプレーヤーのモデルでは、特に高次近似において、非対角重みを扱える能力のおかげで、ベクトルフィッティングよりも低い残差ノルムを達成した。
• 150個のサンプル点を有するCDプレーヤーのモデルにおいて、実部分分数パラメータ化を用いた手法は、次数 $ (5,6) $ で相対的残差ノルム $ \|{\mathbf{W}}(f - r)\|_2 / \|{\mathbf{W}}f\|_2 \approx 10^{-12} $ を達成し、ベクトルフィッティングを上回った。
• 残差行列にVARPROを適用することで、行列値有理関数近似へ一般化可能であるが、低ランクの残留項（例：ランク1）を強制することは未解決の課題のままである。