[論文レビュー] A Proximal Stochastic Quasi-Newton Algorithm

Luo Luo, Zihao Chen+2 more|arXiv (Cornell University)|Jan 31, 2016

Sparse and Compressive Sensing Techniques参考文献 18被引用数 4

ひとこと要約

本稿では、滑らかでコンポonentの平均である項と、単純な近位写像を持つ非滑らか正則化項の合成で構成される複合凸関数を最小化するための近位確率的準ニュートン法を提案する。Hessian行列の曲率情報をスケーリングされた近位更新を通じて統合し、マルチステージの分散低減スキームを採用することで、全勾配を保存せずとも線形収束を達成し、滑らかな問題に対して最先端の確率的手法と同等の収束速度を達成する。

ABSTRACT

In this paper, we discuss the problem of minimizing the sum of two convex functions: a smooth function plus a non-smooth function. Further, the smooth part can be expressed by the average of a large number of smooth component functions, and the non-smooth part is equipped with a simple proximal mapping. We propose a proximal stochastic second-order method, which is efficient and scalable. It incorporates the Hessian in the smooth part of the function and exploits multistage scheme to reduce the variance of the stochastic gradient. We prove that our method can achieve linear rate of convergence.

研究の動機と目的

• 目的関数が滑らかでデータ平均化された関数と非滑らか正則化項の和である、大規模な複合凸最適化問題を扱う。
• 全勾配計算を避ける一方で、2次情報を利用できる確率的最適化手法を開発する。
• 非滑らか正則化項が存在する状況でも線形収束速度を達成し、分散低減確率的手法の効率性を準ニュートン設定に拡張する。
• 1イテレーションあたりのミニバッチデータのみを保存するスケーラブルなアルゴリズムを設計する。

提案手法

• スムーズ成分関数のヘッセ行列からの曲率情報を組み込むために、スケーリングされた近位写像を用いる。
• SVRGにインspiredされたマルチステージスキームを適用し、確率的勾配の分散を低減することで収束安定性を向上させる。
• 各イテレーションで、成分関数のミニバッチを用いて確率的ヘッセ行列近似を計算し、効率的な2次情報更新を実現する。
• 更新則は準ニュートンステップと近位作用素を組み合わせることで非滑らか正則化項を処理し、最適解への収束を保証する。
• 主なイノベーションは、正定値行列Hによって誘導される重み付きノルムを用いて近位写像を定義することであり、収束特性を向上させる。
• 段階間で再帰的な分散低減メカニズムに依存することで、全勾配の保存を回避する。

実験結果

リサーチクエスチョン

• RQ1 確率的準ニュートン法は、非滑らかな複合最適化問題において線形収束を達成できるか？
• RQ2 非滑らか正則化項が存在する確率的設定で、2次情報はどのように効率的に統合できるか？
• RQ3 非滑らか項が存在する場合に、分散低減を準ニュートン法に効果的に適用できるか？
• RQ4 マルチステージスキームを用いた近位確率的準ニュートン法の収束速度は何か？
• RQ5 全勾配の保存を回避することで、提案手法はスケーラビリティを維持するか？

主な発見

• 提案手法は、滑らかな問題に適用された最良の既知の確率的手法と同等の線形収束速度を達成する。
• 全成分関数の全勾配を保存する必要がなく、1イテレーションあたりのミニバッチデータのみに依存する。
• 確率的ヘッセ行列近似のバイアスを低減するマルチステージ分散低減戦略を用いて収束速度を理論的に証明する。
• 標準的な仮定（各成分関数の強い凸性および勾配のリプシッツ連続性）の下で、アルゴリズムの収束が確立される。
• 理論的解析により、期待される最適差は段階を経て幾何的に減少し、収束係数ρ < 1が得られる。
• 非滑らか正則化項が存在する場合でも、近位更新と曲率に配慮したヘッセ行列近似を組み合わせることで、線形収束を達成する。