[논문 리뷰] Least Squares Rational Approximation

Jeffrey M. Hokanson, Caleb C. Magruder|arXiv (Cornell University)|2018. 11. 30.

Model Reduction and Neural Networks참고 문헌 21인용 수 7

한 줄 요약

이 논문은 기존 표준 방법으로는 처리하기 어려운 조밀하고 가능성이 나쁜 조건을 가진 가중치 행렬을 가진 비선형 최소 제곱 근사법을 제안한다. 변수 투영(VARPRO)을 사용하여 최적화 차원을 감소시키며, AAA 알고리즘의 극점으로 초기화하고 다항식 또는 부분 분수 파arameterization을 사용함으로써 가중치 최소 제곱 비선형 근사에 고정밀도 해를 달성한다. 이는 새로운 ${\rm H}_2$ 모델 단순화 기법을 가능하게 한다.

ABSTRACT

Rational approximation appears in many contexts throughout science and engineering, playing a central role in linear systems theory, special function approximation, and many others. There are many existing methods for solving the rational approximation problem, from fixed point methods like the Sanathanan-Koerner iteration and Vector Fitting, to partial interpolation methods like Adaptive Anderson Antoulas (AAA). While these methods can often find rational approximations with a small residual norm, they are unable to find optimizers with respect to a weighted l2 norm with a square dense weighting matrix. Here we develop a nonlinear least squares approach constructing rational approximations with respect to this norm. We explore this approach using two parameterizations of rational functions: a ratio of two polynomials and a partial fraction expansion. In both cases, we show how we can use Variable Projection (VARPRO) to reduce the dimension of the optimization problem. As many applications seek a real rational approximation that can be described as a ratio of two real polynomials, we show how this constraint can be enforced in both parameterizations. Although this nonlinear least squares approach often converge to suboptimal local minimizers, we find this can be largely mitigated by initializing the algorithm using the poles of the AAA algorithm applied to the same data. This combination of initialization and nonlinear least squares enables us to construct rational approximants using dense and potentially ill-conditioned weight matrices such as those that appear as a step in new H2 model reduction algorithm recently developed by the authors.

연구 동기 및 목표

• 일반적인 조밀하고 정방형 가중치 행렬 ${\mathbf{W}}$를 가진 최소 제곱 비선형 근사에 대한 방법이 부족한 문제를 해결하기 위해.
• 기존의 고정점 또는 보간 기반 방법(예: Vector Fitting 또는 AAA)이 처리하지 못하는 비대칭 가중치 행렬을 다룰 수 있는 비선형 최소 제곱 프레임워크를 개발하기 위해.
• 물리적 시스템에서 요구하는 경우 실수 유리 근사자(실수 다항식의 비율)를 강제하기 위해.
• AAA 극점으로 초기화하는 강력한 전략을 결합한 비선형 최소 제곱 최적화를 통해 국소 최소값으로의 수렴을 개선하기 위해.

제안 방법

• 비선형 함수를 다항식의 비율로 표현: $ r(z; {\mathbf{a}}, {\mathbf{b}}) = p(z; {\mathbf{a}})/q(z; {\mathbf{b}}) $, 여기서 $ {\mathbf{a}} $, $ {\mathbf{b}} $ 는 계수 벡터이다.
• 수치적 안정성을 향상시키기 위해 부분 분수 전개 $ r(z) = \sum_{k=1}^n \frac{\rho_k}{z - \lambda_k} $ 를 대체 파arameterization으로 사용한다.
• 변수 투영(VARPRO)을 적용하여 선형 파rameter(예: 잔여량 $ \rho_k $)를 암시적으로 해결하고 비선형 최적화의 변수 수를 줄인다.
• 두 파arameterization 모두에서 극점과 잔여량을 실수 또는 복소수 켤레 쌍으로 제약하여 실수 유리 근사자(실수 다항식의 비율)를 강제한다.
• 동일한 데이터에 대해 AAA 알고리즘을 적용하여 얻은 극점으로 비선형 최소 제곱 솔버를 초기화함으로써 국소 최소값으로의 수렴을 크게 향상시킨다.
• 조밀하고 가능성이 나쁜 조건을 가진 행렬인 케일리 행렬의 역제곱근과 같은 $ {\mathbf{W}} $ 를 가진 가중치 최소 제곱 문제 $ \min \| {\mathbf{W}}(f({\mathcal{Z}}) - r({\mathcal{Z}})) \|_2^2 $ 를 해결한다.

실험 결과

연구 질문

• RQ1 기존 방법이 처리하지 못하는 조밀하고 비대칭 가중치 행렬을 가진 비선형 최소 제곱 프레임워크가 비선형 근사 문제에 효과적으로 적용될 수 있는가?
• RQ2 비선형 근사 문제에 대해 다항식 및 부분 분수 파arameterization을 모두 사용할 때, 변수 투영(VARPRO)을 어떻게 적용하여 최적화 차원을 줄일 수 있는가?
• RQ3 AAA 알고리즘의 극점으로 비선형 최소 제곱 솔버를 초기화하면, 가능성이 나쁜 조건을 가진 가중치가 존재할 경우 국소 최소값으로의 수렴이 현저히 향상되는가?
• RQ4 두 파arameterization 모두를 사용하여 가중치 최소 제곱 기준에서 실수 유리 근사자를 신뢰성 있게 구성할 수 있으며, 이를 수치적으로 어떻게 강제할 수 있는가?
• RQ5 예상되는 ${\rm H}_2$ 모델 단순화 프레임워크에서 가중치 행렬이 비대칭일 경우, 기존의 표준 알고리즘인 Vector Fitting에 비해 제안된 방법이 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 조밀하고 가능성이 나쁜 조건을 가진 가중치 행렬이 존재하더라도, 일阶 최적성 조건을 고정밀도로 충족하는 유리 근사자를 성공적으로 계산한다.
• AAA 알고리즘의 극점으로 초기화함으로써 국소 최소값으로의 수렴을 크게 줄여주며, 고품질의 해로의 신뢰성 있는 수렴을 가능하게 한다.
• 비대칭 가중치를 처리할 수 있는 능력 덕분에, CD 플레이어 모델에서 Vector Fitting보다 잔차 노름을 더 낮게 달성한다. 특히 고차수 근사자에서 두드러진다.
• 150개의 샘플링 포인트를 가진 CD 플레이어 모델에서 실수 부분 분수 파arameterization을 사용한 방법은 차수 $ (5,6) $ 에서 상대 잔차 노름 $ \|{\mathbf{W}}(f - r)\|_2 / \|{\mathbf{W}}f\|_2 \approx 10^{-12} $ 을 달성하였으며, Vector Fitting을 초월한다.
• VARPRO를 잔여량 행렬에 적용함으로써 행렬 값 유리 근사로 일반화되지만, 낮은 질서의 잔여량(예: 질서-1)을 강제하는 것은 여전히 열린 도전 과제이다.