[論文レビュー] On the Efficiency of Random Permutation for ADMM and Coordinate Descent

Ruoyu Sun, Zhi‐Quan Luo+1 more|arXiv (Cornell University)|Mar 22, 2015

Sparse and Compressive Sensing Techniques参考文献 46被引用数 14

ひとこと要約

本稿は、ランダムに並べ替えられたADMM（RP-ADMM）およびブロック座標降下法（RP-BCD）の理論的保証を確立し、線形方程式系を解く際、RP-ADMMが期待値の意味で収束することを証明するとともに、RP-BCDが巡回的BCDよりも期待収束速度でO(n)速くなることを示している。また、更新行列の固有値は(−1/3, 1)に収束し、大規模最適化におけるランダム順列の実験的優位性の根本的説明が得られる。

ABSTRACT

Random permutation is observed to be powerful for optimization algorithms: for multi-block ADMM (alternating direction method of multipliers), while the classical cyclic version divergence, the randomly permuted version converges in practice; for BCD (block coordinate descent), the randomly permuted version is typically faster than other versions. In this paper, we provide strong theoretical evidence that random permutation has positive effects on ADMM and BCD, by analyzing randomly permuted ADMM (RP-ADMM) for solving linear systems of equations, and randomly permuted BCD (RP-BCD) for solving unconstrained quadratic problems. First, we prove that RP-ADMM converges in expectation for solving systems of linear equations. The key technical result is that the spectrum of the expected update matrix of RP-BCD lies in $(-1/3, 1)$, instead of the typical range $(-1, 1)$. Second, we establish expected convergence rates of RP-ADMM for solving linear sytems and RP-BCD for solving unconstrained quadratic problems. This expected rate of RP-BCD is $O(n)$ times better than the worst-case rate of cyclic BCD, thus establishing a gap of at least $O(n)$ between RP-BCD and cyclic BCD. To analyze RP-BCD, we propose a conjecture of a new matrix AM-GM (algebraic mean-geometric mean) inequality, and prove a weaker version of it.

研究の動機と目的

• 巡回的多ブロックADMMが線形方程式系を解く際に発散する問題を、ランダムに並べ替えられたADMM（RP-ADMM）の分析により解決すること。
• ブロック座標降下法（BCD）およびADMMにおけるランダム順列の実験的成功の理論的基盤を確立すること。
• 非制約二次問題におけるRP-BCDの期待収束速度を定量的に評価し、巡回的BCDと比較すること。
• RP-BCDの収束解析を支援する新しい行列のAM-GM不等式の弱いバージョンを導入し、証明すること。
• 大規模最適化において、ランダム順列が巡回的および独立した確率的順列スキームよりも明示的な高速化をもたらすことを示すこと。

提案手法

• 非特異な正方線形方程式系を解くため、増大ラグランジュフレームワークを用いてRP-ADMMを分析する。
• RP-BCDの期待更新行列を導出し、その固有値が(−1/3, 1)に収束することを証明する。これは一般的な(−1, 1)範囲よりもきめ細やかな束縛である。
• スペクトル解析を用いて、線形方程式系に対するRP-ADMMおよび二次問題に対するRP-BCDの期待収束速度を確立する。
• 新しい行列のAM-GM不等式に関する予想を提示し、収束速度の束縛に用いる弱いバージョンを証明する。
• 数学的帰納法と固有値解析を用いて、反復回数に伴う期待残差の減衰を評価する。
• ガウス分布、対数正規分布、一様分布、巡回ヘンケル行列などのさまざまな行列タイプを用いた数値実験により理論的結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 巡回的ADMMが発散する一方で、ランダムに並べ替えられたADMM（RP-ADMM）は、線形方程式系を解く際に期待値の意味で収束するか？
• RQ2 非制約二次問題におけるRP-BCDの期待収束速度は何か？ また、巡回的BCDと比較してどうなるか？
• RQ3 RP-BCDの更新行列の固有値を(−1, 1)よりきめ細かく束縛できるか？ その場合、収束に与える影響は何か？
• RQ4 RP-BCDが巡回的BCDよりも明示的な高速化を達成できるか？ もしそうなら、その速度ギャップのオーダーは何か？
• RQ5 RP-BCDの収束解析を支援する新しい行列のAM-GM不等式を定式化し、部分的に証明できるか？

主な発見

• RP-ADMMは、非特異な線形方程式系を解く際に期待値の意味で収束し、巡回的ADMMの発散という問題に対する理論的解決策を提供する。
• RP-BCDの期待更新行列の固有値は(−1/3, 1)に収束し、一般的な(−1, 1)範囲よりも顕著にきめ細やかに束縛されている。
• RP-BCDの期待収束速度は、巡回的BCDの最悪ケース速度のO(n)倍速く、明示的なO(n)ギャップが確立された。
• 数値実験により、RP-ADMMが基本的な勾配降下法よりも速く収束し、発散する場合の巡回的ADMMよりも10倍以上速いことが確認された。
• ガウス分布および対数正規分布行列では、次元が増加するにつれて巡回的ADMMが発散するが、RP-ADMMは一貫して収束し、勾配降下法を上回る性能を示した。
• BR-ADMM（ベルヌーイ確率的ADMM）も収束するが、一般にRP-ADMMより遅く、制約付きアーキテクチャではサンプリング時間の節約が見込まれる。