[論文レビュー] Variance Reduced Stochastic Gradient Descent with Neighbors

Thomas Hofmann, Aurélien Lucchi+2 more|arXiv (Cornell University)|Jun 11, 2015

Stochastic Gradient Optimization Techniques参考文献 13被引用数 19

ひとこと要約

本稿では、学習データ内の近隣構造を活用して過去の確率的勾配を共有・再利用することで、初期最適化段階での収束を高速化する、バリアンス低減型確率的勾配降下法である$ε\mathcal{N}$-SAGAを提案する。普遍的なステップサイズ選択により幾何的収束レートを達成し、特に少ないエポック数におけるSAGAおよび$q$-SAGAと比較して一貫した高速化を示す。

ABSTRACT

Stochastic Gradient Descent (SGD) is a workhorse in machine learning, yet its slow convergence can be a computational bottleneck. Variance reduction techniques such as SAG, SVRG and SAGA have been proposed to overcome this weakness, achieving linear convergence. However, these methods are either based on computations of full gradients at pivot points, or on keeping per data point corrections in memory. Therefore speed-ups relative to SGD may need a minimal number of epochs in order to materialize. This paper investigates algorithms that can exploit neighborhood structure in the training data to share and re-use information about past stochastic gradients across data points, which offers advantages in the transient optimization phase. As a side-product we provide a unified convergence analysis for a family of variance reduction algorithms, which we call memorization algorithms. We provide experimental results supporting our theory.

研究の動機と目的

• 標準的なSGDの初期最適化段階における収束遅さを、データ類似性の活用によって是正すること。
• SAGAやSVRGを含むバリアンス低減アルゴリズムの統一的収束解析を、'記憶アルゴリズム'の枠組みで構築すること。
• 過去の確率的勾配から導かれるバリアンス補正項における新鮮さとバイアスのトレードオフを解明すること。
• $\epsilon\mathcal{N}$-SAGAを提案・評価し、近隣データポイントを用いて近似補正を計算することで一時的性能を向上させること。
• 近似・近隣ベースの補正が、最小限のエポック数で顕著な高速化をもたらすことを実験的に示すこと。

提案手法

• SAGAとSVRGを一般化するアルゴリズム族である'記憶アルゴリズム'を提案し、各データポイントが過去の勾配を記憶する仕組みを導入する。
• $\epsilon\mathcal{N}$-SAGAを導入し、個々の過去勾配からではなく、近隣データポイントの勾配の重み付き平均からバリアンス補正項を計算する。
• 訓練データ上に近隣関係を定義し、類似データポイント間で情報共有を可能にすることで、過去勾配の近似を実現する。
• ステップサイズ$\gamma < \frac{1}{4L}$を用い、強凸パrameter$\mu$に依存しない普遍的な選択により幾何的収束を保証する。
• SAGA、SVRG、$q$-SAGAを含むすべての記憶アルゴリズムに適用可能な統一的収束解析フレームワークを採用する。
• 更新ステップ数および勾配評価回数を軸に、$\epsilon\mathcal{N}$-SAGAとSAGA、$q$-SAGA、SGDの間でサブ最適性指標を用いて実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 訓練データ内の近隣構造を活用することで、バリアンス低減型SGDの初期最適化段階における収束速度を向上させられるか。
• RQ2 近隣ベースの近似勾配を用いる場合、補正の新鮮さとバイアスのトレードオフはどのように変化するか。
• RQ3 異なる$\mu$値にわたって幾何的収束を保証する普遍的なステップサイズを選択可能か。特にSVRGの$\mu$-適応的収束に対しても有効か。
• RQ4 $\epsilon\mathcal{N}$-SAGAは、SAGAおよび$q$-SAGAと比較して、少ないエポック数における収束速度とサブ最適性の点でどのように異なるか。
• RQ5 近隣点に基づく近似バリアンス補正は、計算負荷を低減しつつも、収束保証をどれだけ維持できるか。

主な発見

• $\epsilon\mathcal{N}$-SAGAは、特に2〜10エポックの範囲で、SAGAおよび$q$-SAGAと比較して一貫した高速化を達成する。
• ステップサイズ$\gamma = \frac{q}{\mu n}$を用いる場合、$\epsilon\mathcal{N}$-SAGAはSAGAと$q$-SAGAの収束性能の間を滑らかに追従する。これは勾配の新鮮さを効果的に活用していることを示す。
• サブ最適性の値が$\epsilon$に依存する点で飽和する傾向を示し、SAGAとは異なり、漸近的収束時にゼロサブ最適性に達しない。
• SAGAが$\epsilon\mathcal{N}$-SAGAを上回るようになるクロスオーバー点は通常5〜15エポックの範囲に位置し、$\epsilon\mathcal{N}$-SAGAが初期学習段階で最も効果的であることを示している。
• 理論的解析により、$\gamma < \frac{1}{4L}$という普遍的ステップサイズが、SVRGを含む記憶アルゴリズム族のすべての手法に対して幾何的収束を保証することが示された。
• 実験結果により、近隣データポイントに基づく近似バリアンス補正が初期イテレーションにおけるサブ最適性を顕著に低減できることを確認し、計算量と解の精度のトレードオフが妥当であることが裏付けられた。