[論文レビュー] Solving Ridge Regression using Sketched Preconditioned SVRG

Alon Gonen, Francesco Orabona+1 more|arXiv (Cornell University)|Feb 7, 2016

Stochastic Gradient Optimization Techniques参考文献 12被引用数 3

ひとこと要約

本稿では、ランダム化SVD近似を用いて主要なデータ方向に焦点を当てることで収束を加速する、スケッチドプレコンディショニングSVRG手法を、リッジ回帰に提案する。経験的相関行列の低ランク近似によるプレコンディショニングにより、有効な条件数が低減され、特にスペクトルが急速に減衰する場合に顕著な高速化が達成されるが、計算コストは著しく増加しない。

ABSTRACT

We develop a novel preconditioning method for ridge regression, based on recent linear sketching methods. By equipping Stochastic Variance Reduced Gradient (SVRG) with this preconditioning process, we obtain a significant speed-up relative to fast stochastic methods such as SVRG, SDCA and SAG.

研究の動機と目的

• 高次元リッジ回帰における確率的手法（例：SVRG）の収束が遅いのは、条件数が悪いことが原因であるため、これを解消すること。
• 標準的なプレコンディショニングには、最適なプレコンディショナーを計算するために元の問題を解く必要があるという制限を克服すること。
• フルヘッセ行列の逆行列を計算せずに、主要なデータ方向に焦点を当てた計算効率の良いプレコンディショニング戦略を開発すること。
• 特にスペクトルが急速に減衰する場合に、スケッチングとSVRGを組み合わせることで、実用的な収束速度の向上を実現すること。
• 標準SVRGおよびSDCAやSAGなどの関連手法と比較して、理論的・実験的両面で高速化を達成すること、特に大規模な設定において顕著である。

提案手法

• 主な固有モードに焦点を当てるために、経験的相関行列 $ C = \frac{1}{n}\sum_{i=1}^n x_i x_i^T $ の低ランク近似を、ランダム化ブロックランコス法で計算する。
• プレコンディショナー $ P $ を $ C + \lambda I $ の低ランク近似として構築し、特に $ P \approx \sum_{i=1}^k \lambda_i u_i u_i^T + \lambda I $ とし、$ k \ll d $ とする。
• 変換 $ \tilde{w} = P^{1/2} w $ を用いてプレコンディショナーを適用し、元のリッジ回帰問題を条件数が改善されたプレコンディショニング形式に変換する。
• このプレコンディショナーをSVRGアルゴリズムに組み込み、有効な平均条件数 $ \tilde{\kappa} $ を低減することで収束速度を向上させる。
• スケッチベースのアプローチにより、$ O(ndk\log n) $ 時間でプレコンディショナーを計算し、$ n $ や $ d $ が大きくなってもスケーラブルである。
• 収束保証付きの確率的最適化フレームワークにプレコンディショニングSVRGを統合し、$ \epsilon $-精度を達成するためのランタイムを $ \tilde{O}((\tilde{\kappa} + n)d\log(1/\epsilon)) $ に抑える。

実験結果

リサーチクエスチョン

• RQ1 主要なデータ方向に基づくプレコンディショナーは、計算コストを著しく増加させることなく、リッジ回帰における有効な条件数を顕著に低減できるか？
• RQ2 スケッチドプレコンディショニングSVRGの性能は、標準SVRGおよび他の高速な確率的ソルバーと比較して、収束速度とスケーラビリティの面でどのように異なるか？
• RQ3 相関行列の低ランクスケッチをプレコンディショナーとして用いることで、収束速度に理論的・実験的にどのような影響を与えるか？
• RQ4 どのような設定（例：スペクトル減衰のパターン）において、提案手法のプレコンディショニングが最大の高速化をもたらすか？
• RQ5 高次元で悪条件な問題において、スケッチドプレコンディショニングアプローチは条件数の低減を実現しながらも、収束保証を維持できるか？

主な発見

• 提案されたスケッチドプレコンディショニングSVRGは、標準SVRGに対して理論的高速化比 $ \frac{\sum_{i=1}^d \lambda_i}{k\lambda_k + \sum_{i>k}\lambda_i} $ を達成する。スペクトルが急速に減衰する場合には、この比は非常に大きくなる。
• 加速版SVRGでは、高速化比が $ \sqrt{\sum_{i=1}^d \lambda_i / (k\lambda_k + \sum_{i>k}\lambda_i)} $ にまで上昇し、有利なスペクトル領域でさらなる利点をもたらす。
• MNIST、CIFAR-10、RCV1、real-sim データセットにおける実験結果から、特に $ k=30 $ の小さな値でも、標準SVRGよりも著しく高速に収束することが確認された。最小正則化（$ \lambda = 10^{-8} $）でも同様の結果が得られた。
• 図2の収束曲線は、すべてのデータセットで、スケッチドプレコンディショニングSVRGがより少ないエポック数で低いサブ最適性に到達していることを示しており、理論的高速化を裏付けている。
• MNIST や CIFAR-10 のようなデータセットでは、図1における比が $ k $ が小さい場合に急激に増加するため、スペクトル減衰に強く依存していることが示された。
• 小規模な $ k $ では前処理コストが無視できるほど小さく、スケーラビリティを維持しているため、大規模な機械学習応用に実用的である。