[논문 리뷰] A decoupled form of the structure-preserving doubling algorithm with low-rank structures

Zhen-Chen Guo, Eric King‐wah Chu외 2명|arXiv (Cornell University)|2020. 05. 17.

Matrix Theory and Algorithms참고 문헌 34인용 수 4

한 줄 요약

이 논문은 대규모 대칭 대수 Riccati 방정식(Algebraic Riccati Equations, AREs)의 계산 복잡도를 줄이기 위해 기존의 세 개 또는 네 개인 결합된 재귀식을 단일 반복 재귀식인 해 행렬 $ H_k $로 분리하는 분리형 구조 보존 배가 알고리즘(dSDA)을 제안한다. 이 알고리즘은 낮은 랭크 구조를 활용하여 효율성을 향상시킨다. 기존 SDA의 이론적 기반을 유지하면서도, 더 적은 연산 횟수와 랭크 인식 계산을 통해 대규모 문제에서 빠른 수렴을 가능하게 한다.

ABSTRACT

The structure-preserving doubling algorithm (SDA) is a fairly efficient method for solving problems closely related to Hamiltonian (or Hamiltonian-like) matrices, such as computing the required solutions to algebraic Riccati equations. However, for large-scale problems in $\mathbb{C}^n$ (also $\mathbb{R}^n$), the SDA with an $O(n^3)$ computational complexity does not work well. In this paper, we propose a new decoupled form of the SDA (we name it as dSDA), building on the associated Krylov subspaces thus leading to the inherent low-rank structures. Importantly, the approach decouples the original two to four iteration formulae. The resulting dSDA is much more efficient since only one quantity (instead of the original two to four) is computed iteratively. For large-scale problems, further efficiency is gained from the low-rank structures. This paper presents the theoretical aspects of the dSDA. A practical algorithm dSDA t with truncation and many illustrative numerical results will appear in a second paper.

연구 동기 및 목표

• 대규모 대칭 대수 Riccati 방정식(Algebraic Riccati Equations, AREs)에 대해 고전적인 구조 보존 배가 알고리즘(SDA)의 높은 계산 비용 문제를 해결하기 위함.
• 원래 SDA의 $ \mathcal{O}(n^3) $ 복잡도가 큰 $ n $ 에서 효율성에 한계를 가지므로 이를 극복하기 위함.
• SDA의 다중 결합 재귀식을 해 행렬 $ H_k $에 대한 단일 반복 재귀식으로 분리하여 새로운 알고리즘을 개발하기 위함.
• 해와 반복값 내부의 자연스러운 낮은 랭크 구조를 활용하여 계산 비용과 메모리 사용량을 추가로 줄이기 위함.
• 실용적이고 잘라낸 변종(dSDA t)의 이론적 기초를 마련하여 해의 랭크를 제어하고 런타임 효율성을 향상시키기 위함.

제안 방법

• SDA의 분리형 형태인 dSDA를 제안하여, $ H_k $만 반복적으로 계산함으로써 $ A_k $, $ E_k $, $ F_k $, $ G_k $를 동시에 계산할 필요를 제거한다.
• Krylov 부분공간 투영을 이용해 dSDA를 유도함으로써 반복값 내에 자연스럽게 낮은 랭크 구조가 유도된다.
• 반복 과정에서 나타나는 큰 크기의 구조적 행렬의 역행렬을 효율적으로 계산하기 위해 Sherman-Morrison-Woodbury 공식을 활용한다.
• 배가 메커니즘을 이용해 $ k = 2^j $ 단계의 반복값을 직접 계산함으로써 중간 단계를 건너뛰어 수렴 속도를 가속화한다.
• 기존의 세 또는 네 항의 재귀식을 $ H_k $에 대한 단일 재귀식으로 분리함으로써 반복 단계당 행렬 연산 수를 감소시킨다.
• 원래 SDA의 이론적 수렴성과 구조 보존 성질을 유지하면서도 계산 확장성을 향상시킨다.

실험 결과

연구 질문

• RQ1 고전적인 SDA는 다중 결합 재귀식을 분리함으로써 대규모 AREs의 계산 복잡도를 줄일 수 있는가?
• RQ2 해와 반복값 내의 낮은 랭크 구조는 SDA의 $ \mathcal{O}(n^3) $ 비용을 어떻게 줄일 수 있는가?
• RQ3 분리가 알고리즘의 수렴 특성과 수치적 안정성에 미치는 영향은 어떠한가?
• RQ4 대규모 문제에서 새로운 dSDA는 원래 SDA보다 효율성과 정확도 면에서 어떻게 비교되는가?
• RQ5 Krylov 부분공간은 dSDA 프레임워크 내에서 낮은 랭크 근사화를 어떻게 가능하게 하는가?

주요 결과

• dSDA는 반복 계산 대상 수를 두 개 또는 네 개에서 단 하나의 $ H_k $로 줄여 계산 오버헤드를 크게 감소시킨다.
• 각 반복 단계에서 다수의 행렬을 계산하는 데 관련된 $ 2^k $ 요소를 제거함으로써 더 낮은 연산 횟수를 달성한다.
• 강판 냉각 모델($ n = 1357 $)에 대한 수치 결과에서 dSDA는 9회의 반복 후 안정해를 상대 잔차 $ 7.614 \times 10^{-15} $ 와 수치적 랭크 191로 계산하였다.
• 실현 가능성은 있으나, dSDA는 9회의 반복에 60.156초가 소요되었고, 원래 SDA는 16.194초였으며, 이는 기저 벡터의 비트리밍되지 않은 증가로 인한 비효율성 때문이었다.
• 이 예제는 dSDA가 많은 의미 없는 기저 벡터를 생성함을 보여주며, 실용적 구현에서는 잘라내기(truncation)가 반드시 필요함을 시사한다.
• dSDA는 이론적으로 타당하고 원칙적으로 효율적이지만, 실용적 효율성은 랭크 제어와 불필요한 계산 방지를 위한 잘라내기 구현 여부에 따라 달라진다.