[논문 리뷰] Random Osborne: a simple, practical algorithm for Matrix Balancing in near-linear time.

Jason M. Altschuler, Pablo A. Parrilo|arXiv (Cornell University)|2020. 04. 06.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 4

한 줄 요약

이 논문은 매트릭스 밸런싱을 위한 오스버너 알고리즘의 랜덤화된 변종인 Random Osborne을 제안하며, 볼록 최적화 시각과 헬링거 거리 기반 잠재함수의 로그볼록성에 기반하여 $O(m\theta^{-2} \log \kappa)$의 연산으로 $\ell_1$ 정확도에서 거의 선형 시간 수렴을 달성한다. 이 방법은 이전 이론적 경계를 향상시켜 실용적인 $\ell_1$ 정확도를 보장하고 순환, 그리디, 병렬 버전으로까지 확장된다.

ABSTRACT

We revisit Matrix Balancing, a pre-conditioning task used ubiquitously for computing eigenvalues and matrix exponentials. Since 1960, Osborne's algorithm has been the practitioners' algorithm of choice, and is now implemented in most numerical software packages. However, the theoretical properties of Osborne's algorithm are not well understood. Here, we show that a simple random variant of Osborne's algorithm converges in near-linear time in the input sparsity. Specifically, it balances $K\in\mathbb{R}_{\geq 0}^{n imes n}$ after $O(m\epsilon^{-2}\log\kappa)$ arithmetic operations, where $m$ is the number of nonzeros in $K$, $\epsilon$ is the $\ell_1$ accuracy, and $\kappa=\sum_{ij}K_{ij}/(\min_{ij:K_{ij} eq 0}K_{ij})$ measures the conditioning of $K$. Previous work had established near-linear runtimes either only for $\ell_2$ accuracy (a weaker criterion which is less relevant for applications), or through an entirely different algorithm based on (currently) impractical Laplacian solvers. We further show that if the graph with adjacency matrix $K$ is moderately connected--e.g., if $K$ has at least one positive row/column pair--then Osborne's algorithm initially converges exponentially fast, yielding an improved runtime $O(m\epsilon^{-1}\log\kappa)$. We also address numerical precision issues by showing that these runtime bounds still hold when using $O(\log(n\kappa/\epsilon))$-bit numbers. Our results are established through a potential argument that leverages a convex optimization perspective of Osborne's algorithm, and relates the per-iteration progress to the current imbalance as measured in Hellinger distance. Unlike previous analyses, we critically exploit log-convexity of the potential. Our analysis extends to other variants of Osborne's algorithm: along the way, we establish significantly improved runtime bounds for cyclic, greedy, and parallelized variants.

연구 동기 및 목표

• 오스버너 알고리즘의 이론적 해법에 대한 오랜 이론적 간극을 해소하는 것—이는 여전히 수치 소프트웨어에서 사실상 표준이지만, 악성 이론적 수렴 보장이 없는 바.
• 실제 응용에 더 관련성이 높은 $\ell_1$ 정확도에서 거의 선형 시간 수렴을 달성하는 오스버너 알고리즘의 변종을 개발하는 것.
• 유한 정밀도 산술 하에서도 유효한 런타임 경계를 확립하는 것—$O(\log(n\kappa/\epsilon))$-비트 수를 사용하여 수치적 실현 가능성을 보장한다.
• 일관된 잠재함수 분석을 통해 오스버너 알고리즘의 순환, 그리디, 병렬 버전에 대한 이론적 수렴 보장을 확장하는 것.

제안 방법

• 각 반복에서 행/열을 균일하게 랜덤으로 선택하는 오스버너 알고리즘의 랜덤화된 변종을 제안하여, 원래의 결정론적 버전보다 더 빠르고 예측 가능한 수렴을 보장한다.
• 불균형을 측정하기 위해 헬링거 거리 기반의 잠재함수를 정의하며, 이는 로그볼록성임이 입증되어 강력한 반복 단위 진전 경계를 가능하게 한다.
• 볼록 최적화 프레임워크를 사용하여 잠재함수의 감소와 현재 불균형 간의 관계를 연결함으로써 수렴 속도의 엄밀한 분석을 가능하게 한다.
• 잠재함수의 로그볼록성을 활용하여, 매트릭스가 중간 정도로 연결되어 있을 경우 초기 반복에서 지수 수렴이 이루어짐을 도출한다.
• 비트 복잡도를 분석하여, $O(\log(n\kappa/\epsilon))$-비트 수를 사용하면 이론적 보장을 유지할 수 있음을 보여, 유한 정밀도 산술 하에서도 런타임 경계가 유지됨을 입증한다.
• 각각의 업데이트 규칙에 맞게 잠재함수 접근법을 조정하여 순환, 그리디, 병렬 버전에 대한 분석을 확장한다.

실험 결과

연구 질문

• RQ1 오스버너 알고리즘의 랜덤화된 변종이 $\ell_1$ 정확도에서 거의 선형 시간 수렴을 달성할 수 있는가? 이는 $\ell_2$ 정확도보다 실용적 응용에 더 관련성이 높다.
• RQ2 기저 매트릭스 그래프가 중간 정도로 연결되어 있을 경우(예: 적어도 한 쌍의 양수 행/열이 존재할 경우), 오스버너 알고리즘의 수렴 속도가 크게 향상되는가?
• RQ3 오스버너 알고리즘의 이론적 런타임 경계는 $O(\log(n\kappa/\epsilon))$ 비트만을 사용하여도 실수 정밀도 산술 하에서도 유지되는가?
• RQ4 동일한 잠재함수와 분석 프레임워크는 순환, 그리디, 병렬 버전과 같은 오스버너 알고리즘의 다른 변종으로까지 확장 가능한가?

주요 결과

• Random Osborne는 $m$개의 비제로 원소와 $\kappa$가 매트릭스 조건수를 나타낼 때, $O(m\epsilon^{-2}\log\kappa)$의 산술 연산으로 $\ell_1$ 정확도에 수렴한다.
• 매트릭스 그래프가 중간 정도로 연결되어 있을 경우, 수렴 속도가 지수적으로 향상되어 런타임이 $O(m\epsilon^{-1}\log\kappa)$로 감소한다.
• 이론적 런타임 경계는 $O(\log(n\kappa/\epsilon))$-비트 수를 사용하여도 실수 정밀도 산술 하에서도 유지되며, 실현 가능성을 보장한다.
• 헬링거 거리 기반 로그볼록 잠재함수를 통한 분석은 오스버너 유형 알고리즘을 분석하는 데 있어 새로운 강력한 프레임워크를 제공한다.
• 동일한 이론적 보장은 순환, 그리디, 병렬 버전으로까지 확장되어 이들에 대한 기존의 런타임 경계를 크게 향상시킨다.
• 이 작업은 실용적 알고리즘을 사용하여 매트릭스 밸런싱에서 $\ell_1$ 정확도에 대한 첫 번째 거의 선형 시간 분석을 제공함으로써 오랜 이론적 간극을 해결한다.