[논문 리뷰] Analysis of a Classical Matrix Preconditioning Algorithm

Leonard J. Schulman, Alistair Sinclair|arXiv (Cornell University)|2015. 04. 12.

Matrix Theory and Algorithms참고 문헌 15인용 수 5

한 줄 요약

이 논문은 고전적인 Osborne-Parlett-Reinsch 행렬 균형 조정 알고리즘에 대해 $L_∞$ 노름에서 처음으로 수렴 속도 분석을 제공한다. 비어 있지 않은 $n \times n$ 행렬에 대해 자연스러운 변종 알고리즘이 $O(n^3 \log(n\rho/\varepsilon))$ 번의 균형 조정 연산으로 수렴함을 증명하며, 여기서 $\rho$는 초기 불균형도를 측정하고 $\varepsilon$는 목표 불균형도이다. 이로 인해 $m$개의 비영원소를 가진 경우 총 실행 시간은 $\widetilde{O}(n^2 m)$이 된다.

ABSTRACT

We study a classical iterative algorithm for balancing matrices in the $L_\infty$ norm via a scaling transformation. This algorithm, which goes back to Osborne and Parlett \& Reinsch in the 1960s, is implemented as a standard preconditioner in many numerical linear algebra packages. Surprisingly, despite its widespread use over several decades, no bounds were known on its rate of convergence. In this paper we prove that, for any irreducible $n imes n$ (real or complex) input matrix~$A$, a natural variant of the algorithm converges in $O(n^3\log(nρ/\varepsilon))$ elementary balancing operations, where $ρ$ measures the initial imbalance of~$A$ and $\varepsilon$ is the target imbalance of the output matrix. (The imbalance of~$A$ is $\max_i |\log(a_i^{ ext{out}}/a_i^{ ext{in}})|$, where $a_i^{ ext{out}},a_i^{ ext{in}}$ are the maximum entries in magnitude in the $i$th row and column respectively.) This bound is tight up to the $\log n$ factor. A balancing operation scales the $i$th row and column so that their maximum entries are equal, and requires $O(m/n)$ arithmetic operations on average, where $m$ is the number of non-zero elements in~$A$. Thus the running time of the iterative algorithm is $ ilde{O}(n^2m)$. This is the first time bound of any kind on any variant of the Osborne-Parlett-Reinsch algorithm. We also prove a conjecture of Chen that characterizes those matrices for which the limit of the balancing process is independent of the order in which balancing operations are performed.

연구 동기 및 목표

• 오랜 기간 동안 이론적 이해의 격차를 메우기 위해 Osborne-Parlett-Reinsch 행렬 균형 조정 알고리즘에 대해 처음으로 수렴 속도 상한을 제공하는 것.
• 수치선형대수 소프트웨어에서 널리 사용되지만 실행 시간 보장이 없었던 $L_\infty$ 노름 변종 알고리즘을 분석하는 것.
• Chen의 추측을 증명하는 것: 균형 조정 과정의 극한이 연산 순서에 독립적임을 입증하는 것.
• 목표 불균형도 $\varepsilon$에 도달하기 위해 필요한 균형 조정 연산 수에 대해 날카로운 상한을 확립하고, $n$, $\rho$, $\varepsilon$에 대한 명시적 의존성을 제공하는 것.

제안 방법

• 알고리즘은 무작위로 선택된 인덱스에서 반복적으로 균형 조정 연산을 수행하며, 행 $i$와 열 $i$를 크기 기준으로 최대 원소가 동일해지도록 스케일링한다.
• 분석은 진행도를 측정하기 위해 잠재 함수 $\Psi(t) = -\sum_v y_v(t)$를 도입하며, 이는 단조 감소하고 균형에의 진전을 측정한다.
• 각 연산에서 $\Psi(t)$의 기대 감소는 $\frac{1}{2n^3} \Psi(t)$ 이하로 유계되며, 마르코프 부등식을 통해 기하급수 감소 분석이 가능해진다.
• 진행의 단조성과 불균형 감소 분석을 보장하기 위해 과정을 '상승' 및 '하강' 단계로 분리한다.
• 행렬을 방향 가중 그래프로 해석하는 그래프 이론적 접근을 사용하며, 정점의 높이가 불균형 수준을 나타낸다.
• 핵심 기술적 단계로 최소 높이 $y_{\min}(t)$는 평균 이하임을 이용하여 잠재 함수의 기대 감소에 하한을 제공한다.

실험 결과

연구 질문

• RQ1 고전적인 Osborne-Parlett-Reinsch 행렬 균형 조정 알고리즘의 $L_\infty$ 노름에서 최악의 수렴 속도는 무엇인가?
• RQ2 목표 불균형도 $\varepsilon$에 도달하기 위해 필요한 균형 조정 연산 수에 대해 이론적 상한을 확립할 수 있는가?
• RQ3 균형 조정 과정의 극한이 연산 순서에 독립적인 조건은 무엇인가?
• RQ4 $O(n^3 \log(n\rho/\varepsilon))$ 상한은 로그 인자 외에는 날카로운가?
• RQ5 분석을 임의의 연산 순서나 다른 $L_p$ 노름으로 확장할 수 있는가?

주요 결과

• 모든 비어 있지 않은 $n \times n$ 행렬에 대해 알고리즘이 $O(n^3 \log(n\rho/\varepsilon))$ 번의 균형 조정 연산으로 수렴함을 증명하며, 여기서 $\rho$는 초기 불균형도이고 $\varepsilon$는 목표 불균형도이다.
• 비영원소 수 $m$에 대해 총 실행 시간은 $\widetilde{O}(n^2 m)$이며, 이는 평균적으로 각 균형 조정 단계에서 $O(m/n)$회의 연산이 일어남에 기인한다.
• 상한은 $\log n$ 인자 외에는 날카로우며, 이는 최악의 경우 알고리즘이 거의 최적임을 입증한다.
• 논문은 Chen의 추측을 증명한다: 균형 조정 과정의 극한은 행렬이 단방향 균형(UB)일 때에만 연산 순서에 독립적이다.
• 수렴 시간을 높은 확률로 유계하기 위해 불균형을 추적하는 새로운 잠재 함수 $\Psi(t)$를 도입하였으며, 마르코프 부등식을 통한 농도 분석이 가능해졌다.
• 이 결과는 오랜 기간 동안 미해결이었던 문제를 해결하며, Osborne-Parlett-Reinsch 알고리즘의 어떤 변종에 대해서도 알려진 최초의 실행 시간 상한을 제공한다.