[論文レビュー] Optimal mini-batch and step sizes for SAGA

Nidham Gazagnadou, Robert M. Gower+1 more|arXiv (Cornell University)|Jan 31, 2019

Stochastic Gradient Optimization Techniques参考文献 20被引用数 18

ひとこと要約

本稿では、SAGAにおける期待平滑化定数の閉形式表現を提案し、グリッドサーチを用いずに最適なミニバッチサイズとステップサイズの選定が可能になる。これらの境界を活用することで、理論的に最適な、より大きなステップサイズを導出し、SAGAの総合的複雑度が最適点までミニバッチサイズに線形に減少することを示した。これは、確率的分散低減手法において非常にまれな線形スケーリングを達成する。

ABSTRACT

Recently it has been shown that the step sizes of a family of variance reduced gradient methods called the JacSketch methods depend on the expected smoothness constant. In particular, if this expected smoothness constant could be calculated a priori, then one could safely set much larger step sizes which would result in a much faster convergence rate. We fill in this gap, and provide simple closed form expressions for the expected smoothness constant and careful numerical experiments verifying these bounds. Using these bounds, and since the SAGA algorithm is part of this JacSketch family, we suggest a new standard practice for setting the step sizes and mini-batch size for SAGA that are competitive with a numerical grid search. Furthermore, we can now show that the total complexity of the SAGA algorithm decreases linearly in the mini-batch size up to a pre-defined value: the optimal mini-batch size. This is a rare result in the stochastic variance reduced literature, only previously shown for the Katyusha algorithm. Finally we conjecture that this is the case for many other stochastic variance reduced methods and that our bounds and analysis of the expected smoothness constant is key to extending these results.

研究の動機と目的

• SAGAにおけるステップサイズと反復回数の複雑度を支配する期待平滑化定数の事前計算を可能にすることで、分散低減最適化におけるギャップを埋める。
• 標準的な選択（b=1 や固定の b=20）を上回る実用的で理論的に最適なSAGA用のミニバッチサイズとステップサイズ設定を導出する。
• SAGAの総合的複雑度がミニバッチサイズに線形に減少することを示し、これはKatyushaに対してのみ以前に示された結果である。
• 期待平滑化定数の精密な境界を用いることで収束速度と安定性を向上させる理論的・実験的根拠を提供する。

提案手法

• SAGAにおける無作為抽出なしミニバッチサンプリングに対する期待平滑化定数の簡単な上界を導出する。
• よりタイトなベルヌーイ型境界を得るための洗練された行列集中不等式を考案する。
• これらの境界を用いて、標準的な選択よりも顕著に大きな最適ステップサイズを計算し、収束速度を向上させる。
• コストの高いグリッドサーチを回避するため、期待平滑化境界に基づく実用的ミニバッチサイズ推定値 b_practical を提案する。
• ミニバッチサイズ b に対する総反復回数複雑度 K_total(b) を区分的線形関数として定式化し、最適 b* まで線形スケーリングを示す。
• 実データおよび合成データセットを用いた広範な数値実験を通じて、理論的境界と実用的設定の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 SAGAにおける無作為抽出なしミニバッチサンプリング下で、期待平滑化定数を閉形式で計算可能か？
• RQ2 SAGAの総合的反復複雑度を最小化する最適なミニバッチサイズは何か？ また、b=1 や b=20 と比べてどう異なるか？
• RQ3 収束保証を維持しながら、標準的な選択よりも顕著に大きなステップサイズを導出可能か？
• RQ4 SAGAはミニバッチサイズの増加に伴い、総合的複雑度において線形スケーリングを示すか？ その限界はどこか？
• RQ5 提案された実用的ミニバッチサイズ b_practical は、グリッドサーチで得られる実効的最適値にどれほど近いか？

主な発見

• 無作為抽出なしミニバッチサンプリング下でのSAGAの期待平滑化定数は、単純な不等式および洗練された（ベルヌーイ型）不等式を用いて閉形式で境界化可能である。
• これらの境界に基づく提案ステップサイズは、標準的なSAGA（Defazioら）のものよりも顕著に大きく、実際の性能でもそれを上回る。
• SAGAの総合的反復複雑度 K_total(b) はミニバッチサイズ b に関して区分的線形関数であり、最適バッチサイズ b* まで線形に減少する。
• 最適ミニバッチサイズ b* は b=1 ではなく、提案された実用的推定値 b_practical はグリッドサーチで得られる実効的最適値と非常に近い。
• covtype.binary や ijcnn1 といった実データセットにおいて、古典的なSAGAやHofmannの設定と比較して、エポック数およびウォールクロック時間の両面でより速い収束を達成した。
• b* を超えるミニバッチサイズでは、総合的複雑度が爆発的に増加する結果となり、明確な最適バッチサイズの存在が確認され、理論的な区分的線形複雑度モデルの妥当性が裏付けられた。