[論文レビュー] Gradient Diversity: a Key Ingredient for Scalable Distributed Learning

Dong Yin, Ashwin Pananjady+4 more|arXiv (Cornell University)|Jun 18, 2017

Stochastic Gradient Optimization Techniques参考文献 48被引用数 20

ひとこと要約

この論文は、分散ミニバッチSGDのスケーラビリティと一般化性能を規定する主要因として勾配多様性を導入する。バッチサイズがデータに依存する多様性測度によって上限に制限される場合、収束と一般化が逐次SGDと一致することを証明し、この境界を超えると勾配多様性の欠如がスループットの飽和と一般化性能の低下を引き起こすことを確立する。この結果はドロップアウトや量子化といったヒューリスティクスに対しても影響を及ぼす。

ABSTRACT

It has been experimentally observed that distributed implementations of mini-batch stochastic gradient descent (SGD) algorithms exhibit speedup saturation and decaying generalization ability beyond a particular batch-size. In this work, we present an analysis hinting that high similarity between concurrently processed gradients may be a cause of this performance degradation. We introduce the notion of gradient diversity that measures the dissimilarity between concurrent gradient updates, and show its key role in the performance of mini-batch SGD. We prove that on problems with high gradient diversity, mini-batch SGD is amenable to better speedups, while maintaining the generalization performance of serial (one sample) SGD. We further establish lower bounds on convergence where mini-batch SGD slows down beyond a particular batch-size, solely due to the lack of gradient diversity. We provide experimental evidence indicating the key role of gradient diversity in distributed learning, and discuss how heuristics like dropout, Langevin dynamics, and quantization can improve it.

研究の動機と目的

• 大規模バッチにおける分散SGDでの観察されたスループットの飽和と一般化性能の低下を解決すること。
• 同時に進行する勾配の間の類似度（低多様性）が性能劣化の根本的原因であることを同定すること。
• 収束と一般化性能を維持するための最適バッチサイズに対するデータに依存する理論的上限を確立すること。
• ドロップアウトやランジュバンダイナミクスといったアルゴリズム的ヒューリスティクスが勾配多様性をどのように向上させるかを結びつけること。
• 勾配多様性に基づく理論的安定性を用いて、ミニバッチSGDの一般化境界を導出すること。

提案手法

• 勾配差の期待内積として勾配多様性を定義し、同時に進行する更新の間の不一致度を測定する。
• バッチサイズがデータから導かれる多様性に基づく境界に比例する場合、ミニバッチSGDが逐次SGDと同等の収束速度（定数倍の差異を除いて）で収束することを証明する。
• 最悪ケースの下限を導出し、凸設定においてもバッチサイズが多様性境界を超えると収束が劣化することを示す。
• 勾配多様性を用いたミニバッチSGDのアルゴリズム的安定性を分析し、バッチサイズが多様性閾値未満の場合、安定性が1サンプルSGDと一致することを示す。
• ドロップアウト、量子化、確率的勾配ランジュバンダイナミクスを、勾配多様性フレームワークを用いて分析し、これらが有効な勾配多様性を向上させることを示す。
• 確率的および幾何的議論を用いて、一般化線形モデルおよびスパース衝突問題における勾配多様性の境界を求める。

実験結果

リサーチクエスチョン

• RQ1 なぜ分散環境における大規模バッチのミニバッチSGDは、スループットの飽和と悪い一般化性能を示すのか？
• RQ2 勾配多様性とミニバッチSGDの収束速度の間には、どのような理論的関係があるのか？
• RQ3 収束と一般化性能が逐次SGDと同等になるように保証する、データに依存するバッチサイズの上限を導出できるか？
• RQ4 ドロップアウトや量子化といった一般的な深層学習のヒューリスティクスは、勾配多様性にどのように影響を与えるか？
• RQ5 勾配多様性に依存するミニバッチSGDの一般化安定性保証は存在するか？

主な発見

• バッチサイズがデータに依存する多様性測度によって上限に制限される場合、ミニバッチSGDの収束速度は、定数倍の差異を除いて逐次SGDと同等になる。
• 凸および非凸問題の両方において、最適バッチサイズは同じ多様性に基づく閾値によって制限され、これはタイトでデータに依存する。
• バッチサイズが多様性境界を超えると、凸設定においても勾配多様性の欠如により収束が遅くなる。
• バッチサイズが多様性閾値未満に保たれる限り、ミニバッチSGDの一般化性能は逐次SGDと同等になる。
• ドロップアウトと確率的勾配ランジュバンダイナミクスは、有効な勾配多様性を向上させ、それらの実験的成功を説明する。
• i.i.d. なサブガウス型特徴を持つ一般化線形モデルにおいて、勾配多様性は特徴量の数に比例する項によって下限され、高確率で成立する。