[論文レビュー] Approximate Steepest Coordinate Descent

Sebastian U. Stich, Anant Raj+1 more|arXiv (Cornell University)|Jun 26, 2017

Stochastic Gradient Optimization Techniques被引用数 11

ひとこと要約

本稿では、近似勾配勾配降下法（ASCD）を導入する。これは、勾配勾配降下法（SCD）を近似する新しい座標選択ルールであり、各反復で全勾配を計算する必要がないため、均一なランダム選択よりも収束が保証的に速い。ASCDは勾配の近似を維持し、勾配の大きさが大きい座標を選択することで、多くの設定においてSCDに匹敵する性能を、ほぼ均一なコストで達成する。理論的保証とLassoおよびリッジ回帰における実験的検証により裏付けられている。

ABSTRACT

We propose a new selection rule for the coordinate selection in coordinate descent methods for huge-scale optimization. The efficiency of this novel scheme is provably better than the efficiency of uniformly random selection, and can reach the efficiency of steepest coordinate descent (SCD), enabling an acceleration of a factor of up to $n$, the number of coordinates. In many practical applications, our scheme can be implemented at no extra cost and computational efficiency very close to the faster uniform selection. Numerical experiments with Lasso and Ridge regression show promising improvements, in line with our theoretical guarantees.

研究の動機と目的

• 各反復で全勾配を計算する必要がないまま、勾配勾配降下法（SCD）に近い性能を達成する座標選択ルールの開発。
• 新しい手法であるASCDが、収束速度の観点で常に均一なランダム座標選択（UCD）を上回ることの保証。
• 大規模最適化に応用可能なSCDに類似した性能を実現するため、低コストで更新可能な勾配近似を維持すること。
• 理論的および実験的検証を通じて、ASCDがSCDに匹敵する収束速度を達成しつつ、実世界の応用において計算効率が良いことを確認すること。

提案手法

• ASCDは、各反復で全勾配を再計算せず、低コストで逐次更新可能な近似勾配ベクトルを維持する。
• 活性座標は、絶対値が大きい勾配値を持つ座標のサブセットから選択され、近似に基づくガウス＝サザンウェル型ルールに従う。
• 安全な選択ルールにより、勾配近似が不正確であっても、常に均一なランダム選択と同等以上の進捗が得られる。
• 滑らかでない凸最適化問題にも対応可能であり、ブロック座標および確率的設定への拡張も可能。
• 理論的保証のないヒューリスティックな変種a-ASCDは、緩い選択ルールを用いることで活性集合の計算を高速化する。
• アルゴリズムは固定または正確なラインサーチステップサイズを用い、実際にはスパース行列演算を効率的に活用して勾配オラクルを実装する。

実験結果

リサーチクエスチョン

• RQ1 各反復で全勾配を計算するコストを回避しながら、勾配勾配降下法（SCD）と同等の収束速度を達成できる座標降下法は存在するか？
• RQ2 勾配近似が不正確であっても、均一なランダム座標選択（UCD）を常に上回る性能を保証できる選択ルールは設計可能か？
• RQ3 実用的な最適化問題において、勾配近似を追加コストなしに維持できるのはどのような状況か？
• RQ4 Lassoやリッジ回帰といった実世界の機械学習問題において、ASCDの性能はSCDおよびUCDと比べてどうか？
• RQ5 無限の誤差を持つ初期近似からでも、活性集合は効果的に学習可能か？ また、収束に影響を与えるか？

主な発見

• ASCDは、勾配近似の精度にかかわらず、収束速度において常に均一なランダム座標選択（UCD）を理論的に上回る。
• ASCDは、座標数nの最大n倍の加速が見込まれるなど、勾配勾配降下法（SCD）に近い収束速度を達成できる。
• RCV1データセットでは、非常に粗い勾配オラクルでさえも、1エポック以内に真の活性集合（全座標の0.1％）を特定し、急速に収束した。
• ヒューリスティックな変種a-ASCDは、実際の性能がASCDとほとんど同一であり、理論的保証がなくてもしばしばわずかに優れている。
• 真の勾配で初期化する必要はなく、任意または不正確な初期近似からもASCDは効果的に活性集合を学習する。
• 高精度の勾配オラクルは収束にほとんど利益をもたらさないため、ASCDは近似誤差に対して頑健であり、実用的・計算的に効率的であることが示された。