[論文レビュー] Tracking the gradients using the Hessian: A new look at variance reducing stochastic methods

Robert M. Gower, Nicolas Le Roux+1 more|arXiv (Cornell University)|Oct 20, 2017

Stochastic Gradient Optimization Techniques参考文献 14被引用数 6

ひとこと要約

本稿では、SVRGにおける制御変数を用いて勾配を動的に追跡するためにヘシアンを用いる、確率的最適化のための新たな分散低減技術を提案する。ヘシアンを対角行列または低ランク行列で近似することにより、次元数に線形に比例する計算コストを維持しながら、理論的および実験的にSVRGより高速な収束を達成する。

ABSTRACT

Our goal is to improve variance reducing stochastic methods through better control variates. We first propose a modification of SVRG which uses the Hessian to track gradients over time, rather than to recondition, increasing the correlation of the control variates and leading to faster theoretical convergence close to the optimum. We then propose accurate and computationally efficient approximations to the Hessian, both using a diagonal and a low-rank matrix. Finally, we demonstrate the effectiveness of our method on a wide range of problems.

研究の動機と目的

• 制御変数の相関を高めるために、勾配の動的追跡を可能にするHessianの利用により、分散低減型確率的最適化手法の性能を向上させること。
• ヘシアン（2次情報）を前処理の目的ではなく、時間経過に伴う勾配の変化を追跡する目的で用いることの可能性を検討すること。
• 次元数に線形に比例する計算コストを維持する、対角行列および低ランク近似による計算効率の良いヘシアン近似の開発。
• 理論的解析と実世界のデータセット上での実験の両方で、SVRGより高速な収束速度を達成すること。
• secant方程式の$σ^2$などのハイパーパrameterへの感受性を低くすることで、ロバスト性と実用的利便性を向上させること。

提案手法

• 勾配の変化を線形モデルで近似するための修正SVRGアプローチを提案。制御変数の相関性が向上する。
• ヘシアンに基づく勾配予測を用いて、各イテレーションで更新される動的制御変数を導入。真の勾配との相関性が向上する。
• 計算コストを$O(d^2)$から$O(d)$に削減する2つの効率的なヘシアン近似（対角行列および低ランク）を提案。
• 2次テイラー展開を用いてヘシアン近似を段階的に更新し、完全なヘシアン計算を伴わずにオンライン勾配追跡を可能にする。
• 低ランクヘシアン更新の数値的安定性を確保するため、ハイパーパrameter $σ^2$ を用いたロバストなsecant方程式を採用。
• データパスとウォールクロック時間の両方の指標で、標準的なLIBSVMデータセット上でのロジスティック回帰（$ell_2$正則化付き）に本手法を適用。

実験結果

リサーチクエスチョン

• RQ1 ヘシアンに基づく勾配追跡により、制御変数の相関性が向上することで、SVRGの収束速度が向上するか？
• RQ2 対角行列または低ランク近似による効率的なヘシアン近似は、次元数に線形に比例する計算コストを維持しながらも、高速な収束を維持できるか？
• RQ3 ヘシアンを前処理ではなく勾配の時間的変化の追跡に用いることで、分散低減型確率的最適化においてより優れた性能が得られるか？
• RQ4 secant方程式における$σ^2$パラメータの選択に、本手法の性能がどれほど依存するか？
• RQ5 理論的解析と実験的評価の両方で、本手法はSVRGより高速な収束を達成できるか？

主な発見

• 対角ヘシアン近似を用いた2Dおよび2Dsecの変種は、全テストデータセットにおいて、標準的なSVRGに比べてデータのパス数が常に少ない。
• ウォールクロック時間の観点では、AMgaussおよびAMprev（アクションマッチングによるヘシアン近似を用いる）が最も効率的であり、低ランクヘシアン追跡の実用的利点が明確に示された。
• グリッドサーチの結果、本手法はSVRGよりも大きなステップサイズを許容でき、最良のステップサイズはしばしば$2^a/L_{\text{max}}$（$a$ は最大10まで）となることが確認され、安定性の向上が示された。
• $σ^2$ハイパーパrameterの収束への影響は最小限であり、パラメータ選択への感受性が低いことが示された。主実験ではすべて$\sigma^2 = 0.1$を用いた。
• 理論的解析により、解の近傍において、ヘシアンに基づく追跡による制御変数の相関性向上のおかげで、SVRGより高速な収束レートが得られることを示した。
• covtypeデータセットでは2Dおよび2Dsecが最良の性能を示したが、a9a や mushrooms などの他のデータセットでは、SVRG2sec や AM 変種が優勢であり、手法に応じた優位性の差が確認された。