[論文レビュー] Variance Reduction in SGD by Distributed Importance Sampling

Guillaume Alain, Alex Lamb+3 more|arXiv (Cornell University)|Nov 20, 2015

Domain Adaptation and Few-Shot Learning参考文献 13被引用数 87

ひとこと要約

本稿では、勾配の分散を低減するために重要度サンプリングを用いて最も情報量の多いトレーニング例を優先する分散確率的勾配降下法（SGD）を提案する。複数のマシンに分散配置されたワーカーが並列に勾配ノルムを計算し、中央のパラメータサーバーがこれらのノルムに基づいてサンプルを選択することで、勾配の分散を最小化する。これにより、陳腐化した重要度重みが存在しても高速な収束が達成される。

ABSTRACT

Humans are able to accelerate their learning by selecting training materials that are the most informative and at the appropriate level of difficulty. We propose a framework for distributing deep learning in which one set of workers search for the most informative examples in parallel while a single worker updates the model on examples selected by importance sampling. This leads the model to update using an unbiased estimate of the gradient which also has minimum variance when the sampling proposal is proportional to the L2-norm of the gradient. We show experimentally that this method reduces gradient variance even in a context where the cost of synchronization across machines cannot be ignored, and where the factors for importance sampling are not updated instantly across the training set.

研究の動機と目的

• 非同期SGD設定において顕著な通信コストと勾配の分散を低減すること。
• 頻繁な同期や帯域幅を多く消費する勾配の送信に依存しないように、情報量の多い例に注目すること。
• 最適な提案分布を用いた重要度サンプリングにより、勾配の分散を理論的に最小化する手法の開発。
• 勾配ノルムの計算を分散化しつつ収束保証を維持することで、効率的かつスケーラブルな学習を可能にすること。
• 本手法を非同期SGDなどの既存手法と組み合わせることで、性能向上を図ることの可能性の探求。

提案手法

• 複数のワーカーに分散配置して、各例ごとの勾配ノルムの計算を実行し、情報量の多いトレーニングサンプルを特定する。
• 中央のパラメータサーバーが個々の勾配のL2ノルムに基づいて重要度サンプリングを実行し、ノルムが大きいサンプルを選択する。
• 勾配のL2ノルムに比例する提案分布を用いた重要度サンプリングを適用し、勾配推定の分散を最小化する。
• 遅延した同期が生じても、不偏かつ低分散の更新を維持できるように、ワーカーが陳腐化した勾配ノルムを使用を許容する。
• 全勾配ではなく、1例あたり1つの浮動小数点値（重要度重み）のみを計算・伝送することで、通信オーバーヘッドを削減する。
• 特に陳腐化した値が存在する状況でも確率的重みの安定化を図るため、加法的スムージングを用いる。

実験結果

リサーチクエスチョン

• RQ1 重要度重みが陳腐化したモデルパラメータから計算された場合でも、勾配ノルムに基づく重要度サンプリングが分散を低減できるか。
• RQ2 標準的な非同期SGDと比較して、提案手法の収束速度と一般化性能はどのように異なるか。
• RQ3 重要度サンプリングによる通信コストの低減が、分散深層学習における学習効率をどの程度向上させるか。
• RQ4 陳腐化した勾配ノルムが、重要度サンプリング方式の性能と安定性に与える影響はいかほどか。
• RQ5 本手法は、非同期SGDなどの既存の分散学習フレームワークと効果的に組み合わせられるか。

主な発見

• 重要度重みが陳腐化したモデルパラメータから計算された場合でも、提案手法は勾配の分散を顕著に低減する。
• 順序不変なSVHNデータセットにおける実験では、標準的なSGDと比較して収束が速く、トレーニング損失も低くなる。通信遅延が生じても、分散低減が顕著に観察される。
• 共分散行列のトレースの平方根（勾配分散の代理指標）は、重要度サンプリング下で一貫して低く保たれる。特に、小さい学習率と適切なスムージングを用いる場合に顕著である。
• 加法的スムージング（+1.0）を用いた小さい学習率の方が、大きなスムージング（+10.0）を用いた高い学習率よりも、より良い分散低減効果を示す。これはハイパーパramータチューニングへの感受性を示唆する。
• 本手法により、全勾長ではなく1例あたり1つの浮動小数点値（重要度重み）を送信するため、ネットワークトラフィックが桁違いに削減され、通信コストが大幅に低減される。
• 遅延更新が生じても本手法は有効であるため、分散環境における陳腐化への耐性が示唆されるが、確率的重みの適切なスムージングが性能に大きく影響する。