[論文レビュー] On Biased Stochastic Gradient Estimation

Derek Driggs, Jingwei Liang+1 more|arXiv (Cornell University)|Jun 4, 2019

Stochastic Gradient Optimization Techniques参考文献 31被引用数 8

ひとこと要約

本稿は、凸、強凸、非凸な複合最適化におけるバイアス付き確率的勾配法の統一的分析フレームワークを導入する。SARGEと呼ばれる新規アルゴリズムを提案し、非凸な有限和問題において、SVRG や SARAH よりも反復ごとの確率的勾配呼び出し回数を減らしながら、オракル複雑度の下界に達する。また、SAG や SARAH のようなバイアス付き推定器を、凸設定において初めてプロキシマル手法へ拡張する。

ABSTRACT

We present a uniform analysis of biased stochastic gradient methods for minimizing convex, strongly convex, and non-convex composite objectives, and identify settings where bias is useful in stochastic gradient estimation. The framework we present allows us to extend proximal support to biased algorithms, including SAG and SARAH, for the first time in the convex setting. We also use our framework to develop a new algorithm, Stochastic Average Recursive GradiEnt (SARGE), that achieves the oracle complexity lower-bound for non-convex, finite-sum objectives and requires strictly fewer calls to a stochastic gradient oracle per iteration than SVRG and SARAH. We support our theoretical results with numerical experiments that demonstrate the benefits of certain biased gradient estimators.

研究の動機と目的

• 凸、強凸、非凸な複合目的関数におけるバイアス付き確率的勾配法の統一的収束解析を提供すること。
• 勾配推定のバイアスが最適化に有益である条件を特定すること。
• 従来、不偏推定器に限定されていたプロキシマル手法を、SAG や SARAH のようなバイアス付きアルゴリズムに対しても、凸設定で拡張すること。
• 非凸な有限和問題において、オーガル複雑度の下界に一致する新しいアルゴリズム SARGE を開発すること。
• 理論的および実験的証明を通じて、特定のバイアス付き勾配推定器が実際の最適化で不偏推定器を上回ることを示すこと。

提案手法

• 新規な安定性およびバイアス分解技術を用いて、バイアス付き確率的勾配推定器を分析する一般的なフレームワークを提案する。
• SAGA と再帰的勾配更新を組み合わせ、バイアス補正機構を備えた、SARGE と呼ばれる新しい確率的平均再帰勾配推定器を導入する。
• 再帰的分散分解を用いて、勾配推定器の期待二乗誤差をバインドし、バイアス下での収束解析を可能にする。
• 勾配誤差、反復の移動、累積勾配変化の3つのシーケンスを用いたラプラス型関数アプローチを採用する。
• ヤングの不等式と幾何的減衰性質を用いて、バイアス項と分散項をバインドすることで収束レートを導出する。
• 一般化されたバイアス条件の下で収束を証明することで、フレームワークを用いてプロキシマル手法をバイアス付き推定器へ拡張する。

実験結果

リサーチクエスチョン

• RQ1 確率的勾配推定におけるバイアスが収束に有益であるとされる状況はどのようなものか？
• RQ2 凸設定において、SAG や SARAH のようなバイアス付き勾配推定器と組み合わせて動作するプロキシマル手法を拡張できるか？
• RQ3 非凸な有限和問題において、オーガル複雑度の下界に一致する新しいバイアス付き確率的勾配法を設計することは可能か？
• RQ4 非凸設定下で、SARGE、SVRG、SARAH の反復ごとの確率的勾配オラクル呼び出し回数はどのように比較されるか？
• RQ5 複合目的構造下で、バイアス付き確率的勾配法の収束を保証する理論的条件は何か？

主な発見

• SARGE は、非凸な有限和問題において、最適なオーガル複雑度の下界に一致する。
• SARGE は、SVRG や SARAH よりも反復ごとに厳密に少ない確率的勾配オラクル呼び出し回数を要するため、実用的効率が向上する。
• 本稿は、凸設定において SAG や SARAH のようなバイアス付き推定器と組み合わせたプロキシマル手法の収束解析を、初めて確立する。
• フレームワークにより、メモリを有する分散低減手法において、適切に制御されたバイアスが有益であることが示される。
• 数値実験により、SARGE を含む特定のバイアス付き推定器が、収束速度と安定性の面で不偏推定器を上回ることが確認される。
• 解析により、SARGE の勾配推定器の期待二乗誤差が弱い条件下でも幾何的に減少することが示され、高速収束が可能となる。