[論文レビュー] Breaking Locality Accelerates Block Gauss-Seidel

Stephen Tu, Shivaram Venkataraman+4 more|arXiv (Cornell University)|Jan 14, 2017

Stochastic Gradient Optimization Techniques参考文献 32被引用数 10

ひとこと要約

この論文は、ブロックガウス＝ザイデル法において局所性を破るためにランダム座標サンプリングを用いることで、加速が適用されても固定分割サンプリングをはるかに上回ることを示している。著者らは、行列の部分ブロックが良好に条件付けられている場合に加速効果を捉えるデータ依存パラメータ ν を新たに導入し、実験的にランダムサンプリングを用いた加速ガウス＝ザイデル法が、大規模な機械学習タスクにおいて共役勾配法よりも最大3.5倍、加速された固定分割ガウス＝ザイデル法よりも1.5倍高速であることを示している。

ABSTRACT

Recent work by Nesterov and Stich showed that momentum can be used to accelerate the rate of convergence for block Gauss-Seidel in the setting where a fixed partitioning of the coordinates is chosen ahead of time. We show that this setting is too restrictive, constructing instances where breaking locality by running non-accelerated Gauss-Seidel with randomly sampled coordinates substantially outperforms accelerated Gauss-Seidel with any fixed partitioning. Motivated by this finding, we analyze the accelerated block Gauss-Seidel algorithm in the random coordinate sampling setting. Our analysis captures the benefit of acceleration with a new data-dependent parameter which is well behaved when the matrix sub-blocks are well-conditioned. Empirically, we show that accelerated Gauss-Seidel with random coordinate sampling provides speedups for large scale machine learning tasks when compared to non-accelerated Gauss-Seidel and the classical conjugate-gradient algorithm.

研究の動機と目的

• 固定分割サンプリングが加速ブロックガウス＝ザイデル法において最適であるという仮定に挑戦すること。
• 局所性が破られるランダム座標サンプリング下での加速ブロックガウス＝ザイデル法の収束速度を分析すること。
• ランダムサンプリングの枠組みにおいて加速効果を定量化する新しいデータ依存パラメータ ν を同定すること。
• 推定列を避けて、リャプノフ関数を用いた一般化された証明フレームワークを、確率的加速手法に適用すること。
• ランダムサンプリングを用いた加速ガウス＝ザイデル法が、大規模な機械学習問題において非加速ガウス＝ザイデル法および共役勾配法を上回ることを実験的に検証すること。

提案手法

• 各イテレーションで新しいランダムブロックをサンプリングすることで、データの局所性を破る確率的ブロックガウス＝ザイデル法を提案する。
• ランダムサンプリングモデルにおける加速の利点を測る新たなパラメータ ν ≤ μ_rand⁻¹ を導入する。
• 従来の推定列アプローチに代わって、リャプノフ関数に基づく証明フレームワークを用いて収束を分析する。
• 部分ブロックが良好に条件付けられている場合に、加速が顕著なスピードアップをもたらすことを示す ν の境界を導出する。
• 同じ証明フレームワークを用いて、確率的加速カツマルツ法への結果の拡張を実施する。
• n=250,000 の拡張されたCIFAR-10を用いたカーネルリッジ回帰において、性能を実験的に評価する。

実験結果

リサーチクエスチョン

• RQ1 局所性をランダム座標サンプリングによって破ることで、ブロックガウス＝ザイデル法における固定分割サンプリングよりも収束が速くなるか？
• RQ2 ランダム座標サンプリング下での加速ブロックガウス＝ザイデル法の収束速度は何か？ また、固定分割加速と比較してどうなるか？
• RQ3 ランダムサンプリングの枠組みにおいて、加速の利点を捉える新しいデータ依存パラメータは何か？
• RQ4 リャプノフ関数に基づく証明フレームワークを用いて、確率的加速手法をより一般化して分析できるか？
• RQ5 大規模な機械学習タスクにおいて、ランダムサンプリングを用いた加速ガウス＝ザイデル法は、古典的な共役勾配法を上回るか？

主な発見

• 非加速ガウス＝ザイデル法がランダム座標サンプリングを用いる場合、任意の固定分割において加速ガウス＝ザイデル法を上回る例を構築した。これは、サンプリングの質が悪いと加速が補えないと示している。
• ランダムサンプリング下での加速ブロックガウス＝ザイデル法の収束速度は、O(μ_rand⁻¹ log(1/ε)) から O(√(ν μ_rand⁻¹) log(1/ε)) に改善される。ここで ν は新たなデータ依存パラメータである。
• 行列 A の部分ブロックが良好に条件付けられている場合、ν は小さくなり、理論的境界によって示されるように、加速により顕著なスピードアップが得られる。
• 実験的に、ランダムサンプリングを用いた加速ガウス＝ザイデル法は、加速された固定分割ガウス＝ザイデル法よりも最大1.5倍高速であり、共役勾配法よりも3.5倍以上高速である。
• 提案されたリャプノフ関数フレームワークは、既存の加速座標降下法の結果をうまく再現し、ブロックカツマルツ法へも拡張可能である。
• ν の境界は保守的であり、良好に条件付けられた部分ブロックの領域では、理論的予測よりも実際の加速効果がさらに大きくなる可能性がある。