[論文レビュー] Analysis of a Classical Matrix Preconditioning Algorithm

Leonard J. Schulman, Alistair Sinclair|arXiv (Cornell University)|Apr 12, 2015

Matrix Theory and Algorithms参考文献 15被引用数 5

ひとこと要約

この論文は、古典的な Osborne-Parlett-Reinsch 行列バランス化アルゴリズムの $L_∞$ ノルムにおける収束速度解析を初めて提供する。非可約 $n \times n$ 行列に対して、自然なアルゴリズムの変種が $O(n^3 \log(n\rho/\varepsilon))$ バランス化操作で収束することを証明しており、ここで $\rho$ は初期の不均衡度、$\varepsilon$ は目標の不均衡度を表す。これにより、非ゼロ要素が $m$ 個ある場合の総実行時間は $\widetilde{O}(n^2 m)$ となる。

ABSTRACT

We study a classical iterative algorithm for balancing matrices in the $L_\infty$ norm via a scaling transformation. This algorithm, which goes back to Osborne and Parlett \& Reinsch in the 1960s, is implemented as a standard preconditioner in many numerical linear algebra packages. Surprisingly, despite its widespread use over several decades, no bounds were known on its rate of convergence. In this paper we prove that, for any irreducible $n imes n$ (real or complex) input matrix~$A$, a natural variant of the algorithm converges in $O(n^3\log(nρ/\varepsilon))$ elementary balancing operations, where $ρ$ measures the initial imbalance of~$A$ and $\varepsilon$ is the target imbalance of the output matrix. (The imbalance of~$A$ is $\max_i |\log(a_i^{ ext{out}}/a_i^{ ext{in}})|$, where $a_i^{ ext{out}},a_i^{ ext{in}}$ are the maximum entries in magnitude in the $i$th row and column respectively.) This bound is tight up to the $\log n$ factor. A balancing operation scales the $i$th row and column so that their maximum entries are equal, and requires $O(m/n)$ arithmetic operations on average, where $m$ is the number of non-zero elements in~$A$. Thus the running time of the iterative algorithm is $ ilde{O}(n^2m)$. This is the first time bound of any kind on any variant of the Osborne-Parlett-Reinsch algorithm. We also prove a conjecture of Chen that characterizes those matrices for which the limit of the balancing process is independent of the order in which balancing operations are performed.

研究の動機と目的

• オスバーン-パールレット-レインシュの行列バランス化アルゴリズムの理論的理解における長年のギャップを埋めるために、$L_\infty$ ノルムにおける初の収束速度境界を提供すること。
• 数値線形代数ソフトウェアで広く使われているが、実行時間の保証が欠けていた $L_\infty$ ノルムバージョンのアルゴリズムを分析すること。
• チェンが提起した、操作の順序に依存しないバランス化プロセスの極限の一意性に関する予想を証明すること。
• 不均衡度 $\varepsilon$ を達成するために必要なバランス化操作の数に対するタイトな境界を確立し、$n$、$\rho$、$\varepsilon$ への明示的な依存関係を示すこと。

提案手法

• アルゴリズムは、ランダムに選ばれたインデックスで反復的にバランス化操作を行い、行 $i$ と列 $i$ を、その絶対値の最大要素が等しくなるようにスケーリングする。
• 分析では、進捗を測るためのポテンシャル関数 $\Psi(t) = -\sum_v y_v(t)$ を導入し、これは単調に減少する。
• 1回の操作あたりの $\Psi(t)$ の期待値の減少量が $\frac{1}{2n^3} \Psi(t)$ 以上であることを下界で抑え、Markovの不等式を用いた幾何的減少の議論が可能になる。
• 進行を保証し、不均衡度の低減の分析を可能にするために、「上昇」段階と「下降」段階にプロセスを分ける。
• 行列を有向重み付きグラフとして解釈し、頂点の高さを不均衡度レベルとして表現するグラフ理論的解釈を用いる。
• 重要な技術的ステップとして、最小高さ $y_{\min}(t)$ が平均以下であるという事実を用い、ポテンシャルの期待値低下量の下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 古典的な Osborne-Parlett-Reinsch 行列バランス化アルゴリズムが $L_\infty$ ノルムにおいて、最悪ケースでどの程度の収束速度を示すか？
• RQ2 不均衡度 $\varepsilon$ を達成するために必要なバランス化操作の数に対して、理論的境界を確立できるか？
• RQ3 バランス化プロセスの極限が操作の順序に依存しないのはどのような条件下か？
• RQ4 $O(n^3 \log(n\rho/\varepsilon))$ の境界は、対数要因を除いてタイトか？
• RQ5 この解析を任意の操作シーケンスや他の $L_p$ ノルムに拡張できるか？

主な発見

• 任意の非可約 $n \times n$ 行列に対して、アルゴリズムは $O(n^3 \log(n\rho/\varepsilon))$ バランス化操作で収束する。ここで $\rho$ は初期の不均衡度、$\varepsilon$ は目標の不均衡度を表す。
• 非ゼロ要素数が $m$ 個である場合、平均して1回のバランス化ステップあたり $O(m/n)$ の操作が行われるため、総実行時間は $\widetilde{O}(n^2 m)$ となる。
• 境界は $\log n$ 要因を除いてタイトであり、最悪ケースにおいてアルゴリズムがほぼ最適であることを示している。
• 本論文はチェンの予想を証明した：バランス化プロセスの極限は、行列が一方向にバランス（UB）である場合に限り、操作の順序に依存しない。
• 不均衡度を追跡する新しいポテンシャル関数 $\Psi(t)$ を導入し、Markovの不等式による集中不等式を用いて、高確率での収束時間の境界を導出可能にした。
• 本結果により、数十年にわたる未解決問題が解決され、オスバーン-パールレット-レインシュアルゴリズムのいかなる変種に対しても、初めての既知の実行時間境界が得られた。