[論文レビュー] One Method to Rule Them All: Variance Reduction for Data, Parameters and Many New Methods

Filip Hanzely, Peter Richtárik|arXiv (Cornell University)|May 27, 2019

Stochastic Gradient Optimization Techniques参考文献 39被引用数 10

ひとこと要約

本稿では、SAGA、LSVRG、JacSketch、SEGA、ISEGA など、多数の既存アルゴリズムを一般化・統一する、分散低減を同時に行う統一された確率的最適化手法を提案する。著者らは、滑らかさと準強い凸性の下で線形収束を示す一様な収束定理を確立し、既知のレートを回復または改善するとともに、確率的勾配降下法および座標降下法の統一理論を可能にする。

ABSTRACT

We propose a remarkably general variance-reduced method suitable for solving regularized empirical risk minimization problems with either a large number of training examples, or a large model dimension, or both. In special cases, our method reduces to several known and previously thought to be unrelated methods, such as { t SAGA}, { t LSVRG}, { t JacSketch}, { t SEGA} and { t ISEGA}, and their arbitrary sampling and proximal generalizations. However, we also highlight a large number of new specific algorithms with interesting properties. We provide a single theorem establishing linear convergence of the method under smoothness and quasi strong convexity assumptions. With this theorem we recover best-known and sometimes improved rates for known methods arising in special cases. As a by-product, we provide the first unified method and theory for stochastic gradient and stochastic coordinate descent type methods.

研究の動機と目的

• 高次元のデータやモデルを伴う大規模機械学習問題において、標準的な確率的勾配降下法および座標降下法の収束制限を解消すること。
• これまで独立して扱われてきた、多様な分散低減技術を、一つの一般化されたアルゴリズムフレームワークに統合すること。
• すべての特殊ケースに適用可能な一様な収束定理を確立し、確率的勾配降下法および座標降下法の統一的理論的解析を可能にすること。
• データサンプリング、パラメータ更新、勾配推定器の分散を同時に低減する手法を開発し、収束の安定性と速度を向上させること。
• フレームワーク内の異なるコンponentsを選択することで、収束保証付きの新しい効率的アルゴリズムを体系的に導出する方法を提供すること。

提案手法

• 本手法は、補間勾配ステップと、データ、パラメータ、モデル更新の分散を同時に低減するように巧みに構築された不偏勾配推定器を組み合わせた一般化された確率的更新ルールに基づく。
• 関数と座標のランダムサンプリングを用いた新しい勾配推定器を導入し、任意のサンプリングスキームと補間作用素を許容する構造を備える。
• 作用素 M† と B を用いた行列ベースの分散低減メカニズムを統合し、勾配推定器の分散を制御し収束を保証する。
• 線形作用素 G(x) を用いた勾配推定器の双対表現を用い、不偏性を保ちつつ分散制御を可能にする確率的サンプリングスキーム S によって更新を行う。
• 主な革新点は、完全な勾配を計算しない状況でも不偏性を保ちながら分散を低減するための整合性条件（核空間制約）の導入である。
• プライマル反復とデュアル勾配推定誤差の両方を追跡する一様なリャプノフ関数を用いた解析により、一様な収束定理が導かれる。

実験結果

リサーチクエスチョン

• RQ1 SAGA、LSVRG、JacSketch、SEGA、ISEGA といった多様な分散低減技術を統一する、一つのアルゴリズムフレームワークが可能か？
• RQ2 同一のフレームワーク下で、確率的勾配降下法と確率的座標降下法の両方に適用可能な統一された収束理論が存在するか？
• RQ3 提案手法は、既存の特化型アルゴリズムと比較して、改善されたり同等のレートで線形収束を達成できるか？
• RQ4 線形収束を達成するための最小限の仮定は何か？ そしてこれらは滑らかさと強い凸性とどのように関係するか？
• RQ5 異なるサンプリングおよび更新ルールを選択することで、フレームワークから体系的に新しい効率的アルゴリズムを導出できるか？

主な発見

• 提案手法は、滑らかさと準強い凸性の下で線形収束を達成し、すべての特殊ケースをカバーする一様な定理を有する。
• SAGA、LSVRG、SEGA などの既知のアルゴリズムの最良の既知の収束レートを回復し、場合によってはそれを改善する。
• 本フレームワークは、確率的勾配降下法と確率的座標降下法の両方を統一的に扱う初めての理論的枠組みを提供し、これらが同一の一般アルゴリズムの特殊ケースであることを示している。
• 任意のサンプリングスキームと補間作用素をサポートするため、収束保証付きの広範な新しいアルゴリズムの導出が可能である。
• 強い成長条件の下で、既知のレートと同等のオーダーの収束速度を達成しており、異なる問題領域においても頑健で効率的であることが示唆される。
• サンプリングおよび作用素構造を調整することで、データとパラメータ更新の両方の分散を低減する特性を持つ新しいアルゴリズムを導出可能である。