[論文レビュー] Starting Small -- Learning with Adaptive Sample Sizes

Hadi Daneshmand, Aurélien Lucchi+1 more|arXiv (Cornell University)|Mar 9, 2016

Stochastic Gradient Optimization Techniques参考文献 29被引用数 13

ひとこと要約

この論文では、最適化中に訓練サンプルサイズを動的に増加させることで、統計的精度への収束を加速する、新しい適応的サンプリング手法である dynaSAGA を提案する。小さなバッチから始め、段階的にスケーリングアップすることで、従来の方法が必要とする標準的な n log n ステップに比べてはるかに速く、わずか 2n ステップで統計的精度に到達する。これは、SAGA のような分散低減 stochastic 最適化の良好な収束特性を活用している。

ABSTRACT

For many machine learning problems, data is abundant and it may be prohibitive to make multiple passes through the full training set. In this context, we investigate strategies for dynamically increasing the effective sample size, when using iterative methods such as stochastic gradient descent. Our interest is motivated by the rise of variance-reduced methods, which achieve linear convergence rates that scale favorably for smaller sample sizes. Exploiting this feature, we show -- theoretically and empirically -- how to obtain significant speed-ups with a novel algorithm that reaches statistical accuracy on an $n$-sample in $2n$, instead of $n \log n$ steps.

研究の動機と目的

• n 個のサンプルからなるデータセット上で、統計的精度に到達するまでに n log n ステップを要する標準的最適化手法の非効率性を是正すること。
• 大規模機械学習における計算的精度と統計的精度のトレードオフを調査すること。
• 最適化中に有効サンプルサイズを動的に制御する戦略を開発し、収束速度を向上させること。
• SAGA のような分散低減手法の、小さなサンプルサイズにおける良好な収束行動を活用すること。
• 小さなサンプルから始め、段階的に増加させることで、固定バッチサイズ手法よりも速い収束が達成できることを示すこと。

提案手法

• アルゴリズムは、訓練データの小さなサブセットから始め、時間の経過とともに有効サンプルサイズを動的に増加させる。
• 最適化エンジンとして SAGA アルゴリズムを用い、n 個のサンプルに対して収束レート ρₙ = 1 − min(1/n, μ/L) を示す。
• 特定の間隔で制御された方法でサンプルサイズを増加させ、現在のサンプルサイズの統計的精度と最適化誤差を一致させる。
• 最適化誤差 ε(n) が統計誤差 H(n) と一致するように、収束がバランスする段階で早期終了を保証する。
• すべてのサンプルサイズにおける合計反復回数が有界であるようにアルゴリズムを設計し、2n ステップで収束を達成する。
• 理論的分析により、現在のサンプルサイズに依存するレートで、サブ最適性が指数関数的に減少することが示され、高速収束が可能になる。

実験結果

リサーチクエスチョン

• RQ1 最適化中にサンプルサイズを動的に増加させることで、固定バッチサイズ手法よりも統計的精度への収束が速くなるか？
• RQ2 SAGA の収束レートはサンプルサイズにどのように依存するか？ そして、これは適応的サンプリングに利用可能か？
• RQ3 統計的誤差と計算的誤差のバランスを取るために、サンプルサイズを時間の経過とともにどのように増加させるのが最適か？
• RQ4 小さなサンプルから始め、段階的に増加させることで、n log n ステップ未満で統計的精度に到達できるか？
• RQ5 このような適応的サンプリング戦略の収束について、どのような理論的保証を提供できるか？

主な発見

• 提案された dynaSAGA アルゴリズムは、わずか 2n ステップで統計的精度に到達し、標準的な n log n の複雑度に比べて著しく高速である。
• 理論的分析により、SAGA のサブ最適性は、ρₙ = 1 − min(1/n, μ/L) のレートで指数関数的に減少することが示され、n が小さい場合に特に有利である。
• 実験結果により、小さなサンプルから始め、段階的に増加させることで、固定バッチ手法に比べて収束が速くなることが確認された。
• アルゴリズムは、最適化の進行に合わせてサンプルサイズを増加させることで、最適化誤差 ε(n) と統計誤差 H(n) のバランスを保つ。
• SAGA の収束が n に依存する良好な性質のおかげで、サンプルサイズが増加しても線形収束レートを維持する。
• 分散低減手法（SAGA など）に対して特に効果的であり、小さなサンプルサイズでも強い収束行動を示す。