[論文レビュー] Random Osborne: a simple, practical algorithm for Matrix Balancing in near-linear time.

Jason M. Altschuler, Pablo A. Parrilo|arXiv (Cornell University)|Apr 6, 2020

Stochastic Gradient Optimization Techniques参考文献 37被引用数 4

ひとこと要約

本稿では、行列バランス化のためのオズバーンのアルゴリズムの確率的変種であるRandom Osborneを導入する。この手法は、凸最適化の視点とヘルンゲル距離に基づくポテンシャル関数の対数凸性を活用することで、$O(m\theta^{-2} \log \kappa)$の演算で$\ell_1$精度に近い線形時間収束を達成する。従来の理論的境界を改善し、実用的な$\ell_1$精度を保証するとともに、巡回的・グリーディー的・並列化された変種へも拡張可能である。

ABSTRACT

We revisit Matrix Balancing, a pre-conditioning task used ubiquitously for computing eigenvalues and matrix exponentials. Since 1960, Osborne's algorithm has been the practitioners' algorithm of choice, and is now implemented in most numerical software packages. However, the theoretical properties of Osborne's algorithm are not well understood. Here, we show that a simple random variant of Osborne's algorithm converges in near-linear time in the input sparsity. Specifically, it balances $K\in\mathbb{R}_{\geq 0}^{n imes n}$ after $O(m\epsilon^{-2}\log\kappa)$ arithmetic operations, where $m$ is the number of nonzeros in $K$, $\epsilon$ is the $\ell_1$ accuracy, and $\kappa=\sum_{ij}K_{ij}/(\min_{ij:K_{ij} eq 0}K_{ij})$ measures the conditioning of $K$. Previous work had established near-linear runtimes either only for $\ell_2$ accuracy (a weaker criterion which is less relevant for applications), or through an entirely different algorithm based on (currently) impractical Laplacian solvers. We further show that if the graph with adjacency matrix $K$ is moderately connected--e.g., if $K$ has at least one positive row/column pair--then Osborne's algorithm initially converges exponentially fast, yielding an improved runtime $O(m\epsilon^{-1}\log\kappa)$. We also address numerical precision issues by showing that these runtime bounds still hold when using $O(\log(n\kappa/\epsilon))$-bit numbers. Our results are established through a potential argument that leverages a convex optimization perspective of Osborne's algorithm, and relates the per-iteration progress to the current imbalance as measured in Hellinger distance. Unlike previous analyses, we critically exploit log-convexity of the potential. Our analysis extends to other variants of Osborne's algorithm: along the way, we establish significantly improved runtime bounds for cyclic, greedy, and parallelized variants.

研究の動機と目的

• オズバーンのアルゴリズムには長年の理論的ギャップが存在するが、これは数値ソフトウェアにおける事実上の標準であるにもかかわらず、理論的収束保証が乏しい。
• 従来の$\ell_2$精度よりも実用的応用においてより適切な$\ell_1$精度を達成する近線形時間収束を実現するオズバーンのアルゴリズムの変種を開発すること。
• 有限精度算術下でも成り立つランタイム境界を確立すること。具体的には、$O(\log(n\kappa/\epsilon))$ビットの数値を用いることで、数値的実装可能性を保証すること。
• 一様なポテンシャル関数解析を用いて、オズバーンのアルゴリズムの巡回的・グリーディー的・並列化された変種に対しても理論的収束保証を拡張すること。

提案手法

• 各反復で行・列を一様にランダムに選択するオズバーンのアルゴリズムの確率的変種を提案。これにより、元の決定的バージョンよりも高速かつ予測可能な収束を実現。
• 不均衡度を測るためのポテンシャル関数をヘルンゲル距離に基づいて定義。この関数は対数凸性を示し、各反復における強力な進捗保証を可能にする。
• 凸最適化フレームワークを用いて、ポテンシャルの減少と現在の不均衡度との関係を関連づけ、収束速度の精密な解析を可能にする。
• ポテンシャル関数の対数凸性を活用し、行列が中程度に接続されている初期段階では指数的収束を達成できることを示す。
• ビット複雑性を分析することで、有限精度算術下でのランタイム境界を確立。$O(\log(n\kappa/\epsilon))$-ビット数値が理論的保証を維持するために十分であることを示す。
• 更新ルールに応じてポテンシャル関数の議論を調整することで、巡回的・グリーディー的・並列化された変種に対しても解析を拡張。

実験結果

リサーチクエスチョン

• RQ1 オズバーンのアルゴリズムの確率的変種は、$\ell_2$精度よりも実用的応用においてより適切な$\ell_1$精度を達成する近線形時間収束を実現できるか？
• RQ2 オズバーンのアルゴリズムの収束速度は、少なくとも1組の正の行・列ペアを持つように中程度に接続された行列グラフを持つ場合に顕著に向上するか？
• RQ3 有限精度算術下でも、$O(\log(n\kappa/\epsilon))$ビットの数値を用いることで、オズバーンのアルゴリズムの理論的ランタイム境界を維持できるか？
• RQ4 同じポテンシャル関数と解析フレームワークを、巡回的・グリーディー的・並列化されたオズバーンのアルゴリズムの他の変種へも拡張できるか？

主な発見

• Random Osborneは、非ゼロ要素数$m$と行列の条件数を表す$\kappa$を用いて、$O(m\epsilon^{-2}\log\kappa)$の算術演算で$\ell_1$精度に収束する。
• 行列グラフが中程度に接続されている場合、収束は指数的になるため、ランタイムは$O(m\epsilon^{-1}\log\kappa)$にまで短縮される。
• 理論的ランタイム境界は、$O(\log(n\kappa/\epsilon))$-ビット数値を用いることで有限精度算術下でも保たれ、実装可能性が保証される。
• ヘルンゲル距離に基づく対数凸ポテンシャル関数による解析は、オズバーン型アルゴリズムの解析に新たな強力なフレームワークを提供する。
• 同じ理論的保証が巡回的・グリーディー的・並列化された変種へも拡張され、それらの既知のランタイム境界が著しく改善される。
• 本研究は、実用的アルゴリズムを用いて$\ell_1$精度における行列バランス化のための最初の近線形時間解析を提供することで、長年の理論的ギャップを解消した。