[論文レビュー] Stochastic Gradient Descent with Biased but Consistent Gradient Estimators

Jie Chen, Ronny Luss|arXiv (Cornell University)|Jul 31, 2018

Stochastic Gradient Optimization Techniques参考文献 29被引用数 26

ひとこと要約

この論文は、一貫性のあるがバイアスのある勾配推定器を用いた確率的勾配降下法（SGD）が、強い凸、凸、非凸の目的関数において、不偏SGDと同等の収束行動を示すことを確立している。主な貢献は、特に不偏勾配が計算的に費用がかかりすぎるグラフ構造の学習において有用な一貫性のある推定器が、不偏推定器と同等の収束速度を維持することを理論的に証明したことである。これにより、グラフニューラルネットワークなどのモデルの効率的な学習が可能になる。

ABSTRACT

Stochastic gradient descent (SGD), which dates back to the 1950s, is one of the most popular and effective approaches for performing stochastic optimization. Research on SGD resurged recently in machine learning for optimizing convex loss functions and training nonconvex deep neural networks. The theory assumes that one can easily compute an unbiased gradient estimator, which is usually the case due to the sample average nature of empirical risk minimization. There exist, however, many scenarios (e.g., graphs) where an unbiased estimator may be as expensive to compute as the full gradient because training examples are interconnected. Recently, Chen et al. (2018) proposed using a consistent gradient estimator as an economic alternative. Encouraged by empirical success, we show, in a general setting, that consistent estimators result in the same convergence behavior as do unbiased ones. Our analysis covers strongly convex, convex, and nonconvex objectives. We verify the results with illustrative experiments on synthetic and real-world data. This work opens several new research directions, including the development of more efficient SGD updates with consistent estimators and the design of efficient training algorithms for large-scale graphs.

研究の動機と目的

• 一貫性のある（バイアスのある）勾配推定器を用いたSGDの収束行動を分析すること。
• 大きな近傍にわたる情報の集約を要するため、計算が非効率なグラフベースの学習における計算ボトルネックを解消すること。
• 一般の最適化設定において、一貫性のある推定器が不偏推定器と同等の収束速度を達成することを示すこと。
• バイアスのある推定器を用いたSGDに対する理論的保証を提供し、実験的成功にとどまらず、形式的な収束解析へと拡張すること。
• 大規模なグラフ構造データ向けに効率的でスケーラブルな学習アルゴリズムの設計に関する新たな研究方向性を開くこと。

提案手法

• サンプルサイズの増加に伴い、$ g_k $ が真の勾配 $ \nabla f(w_k) $ に確率的に収束する一貫性のある勾配推定器 $ g_k $ を用いたSGDの理論的分析。
• 期待値に基づくバウンドではなく、一貫性のある推定器の性質を反映する確率的収束バウンドの使用。
• 集中不等式と尾確率解析を用いて、一貫性のある推定器の収束速度を定量化すること。
• 合成データおよび実世界のグラフデータセット（Cora、Pubmed、Mixture）を用いた実験的検証。1層および2層のGCNを用いて検証。
• 凸および非凸の設定において、一貫性のある推定器を用いたSGDと不偏SGD、およびAdamの収束曲線を比較。
• 一貫性のある推定器が、失敗確率において指数関数的、あるいはそれ以上の速さで減少することを示し、実用的妥当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 強い凸の設定において、一貫性のある勾配推定器を用いたSGDは、不偏推定器を用いた場合と同等の速度で収束するか？
• RQ2 一貫性のある勾配推定器は、例えば深層グラフニューラルネットワークの学習のような凸および非凸最適化問題においても収束を維持できるか？
• RQ3 実際のグラフデータ上で、一貫性のある推定器の収束行動は、不偏SGDおよびAdamと比べてどのように異なるか？
• RQ4 一貫性のある勾配推定器の収束速度は、尾確率の観点からどの程度か？実用的導入を支持するものか？
• RQ5 一貫性のある推定器は、GCNを越えてメッセージパッシングニューラルネットワークにおいて、不偏勾配のスケーラブルな代替手段として利用可能か？

主な発見

• 一貫性のある勾配推定器を用いたSGDは、強い凸、凸、非凸の設定において、不偏SGDと同等の収束行動を示す。
• 実験的結果から、合成データおよび実世界のグラフデータにおいて、一貫性のある推定器を用いたSGDの収束曲線は、不偏SGDおよびAdamと非常に類似していることが示された。
• 1層のGCNでは、一貫性のある勾配推定器の失敗確率がサンプルサイズとともに指数関数的より速く減少し、急速な収束を示している。
• 2層のGCNでは、失敗確率が概ね指数関数的に減少しており、指数的尾部仮定の妥当性を支持している。
• 一貫性のある推定器により、小さなサンプルサイズ（例：400）でも、最先端のモデルと同等の性能が達成可能である。
• 理論的枠組みにより、ペairワイズ損失を用いたランキング学習など、バイアスはあるが一貫性のある勾配を用いた学習アルゴリズムの収束保証が得られた。