[論文レビュー] Adaptive Sampling Distributed Stochastic Variance Reduced Gradient for Heterogeneous Distributed Datasets

Ilqar Ramazanli, Han Nguyen+3 more|arXiv (Cornell University)|Feb 19, 2020

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿では、非同等なデータ設定下における分散型確率的バリアンス低減勾配最適化のための、適応的サンプリング戦略であるASD-SVRGを提案する。過去の勾配から推定された局所リプシッツ定数が大きいマシンを動的に優先することで、最大勾配リプシッツ定数に依存する収束性を軽減し、収束速度を向上させるとともに、特に大きな学習率の下でも安定性を向上させる。

ABSTRACT

We study distributed optimization algorithms for minimizing the average of \\emph{heterogeneous} functions distributed across several machines with a focus on communication efficiency. In such settings, naively using the classical stochastic gradient descent (SGD) or its variants (e.g., SVRG) with a uniform sampling of machines typically yields poor performance. It often leads to the dependence of convergence rate on maximum Lipschitz constant of gradients across the devices. In this paper, we propose a novel \\emph{adaptive} sampling of machines specially catered to these settings. Our method relies on an adaptive estimate of local Lipschitz constants base on the information of past gradients. We show that the new way improves the dependence of convergence rate from maximum Lipschitz constant to \\emph{average} Lipschitz constant across machines, thereby, significantly accelerating the convergence. Our experiments demonstrate that our method indeed speeds up the convergence of the standard SVRG algorithm in heterogeneous environments.

研究の動機と目的

• データ分布がマシン間で著しく異なる分散型非同等データセットにおいて、標準的なSVRGおよびSGDの収束性の悪さを是正すること。
• 非i.i.d.設定においてしばしば性能を支配する最大局所リプシッツ定数への収束率の依存度を低減すること。
• リプシッツ定数の事前知識を必要とせず、局所勾配のばらつきを推定することで、ワーカーを選択する適応的サンプリング戦略を開発すること。
• 分散型またはフェデレーテッドラーニングに類似した環境において、通信効率と最適化の安定性を向上させること、特に大きな学習率の下で。

提案手法

• 歴史的勾配情報から得られる推定局所リプシッツ定数に基づいて、ワーカーにサンプリング確率を割り当てる適応的サンプリングメカニズムを提案する。
• 事前計算または正確なリプシッツ値を必要としない、頑健な局所リプシッツ推定技術を導入し、実世界の環境における実用的導入を可能にする。
• 各ワーカーが自らの重みのみを知る必要がある最小限の通信オーバーヘッドで、効率的な重み付きサンプリングを可能にする並列通信プロトコルを設計する。
• 適応的サンプリングをSVRGフレームワークに統合し、均一なワーカー選択を重み付きスキームに置き換えることで、情報量の多いワーカーを優先する。
• 観測データからノイズの多いカテゴリカル分布を推定する統計的分解手法を用い、正確な重み割り当てを可能にする。
• PyTorchで実装し、凸（線形／ロジスティック回帰）および非凸アーキテクチャの両方をサポートすることで、広範な適用性を確保する。

実験結果

リサーチクエスチョン

• RQ1 局所勾配特性に基づく適応的サンプリングは、非同等な分散データセットにおけるSVRGの収束速度を向上させることができるか？
• RQ2 均一なサンプリングを適応的サンプリングに置き換えることで、最大局所リプシッツ定数への収束率の依存度が低下するか？
• RQ3 提案手法は、標準的なSVRGと比較して、大きな学習率の下でどのように動作するか？
• RQ4 分散システムにおいて、最小限の通信オーバーヘッドで適応的サンプリング戦略を効率的に実装できるか？
• RQ5 適応的サンプリング手法は、最適化の高速化を図る一方で、一般化性能を維持または向上させることができるか？

主な発見

• ASD-SVRGは、線形回帰およびロジスティック回帰の両タスクにおいて、特に訓練損失の観点で標準的なSVRGよりも顕著に高速に収束する。初期イテレーションで最も速い収束が観察された。
• ロジスティック回帰において、ASD-SVRGは86%のテスト精度を達成し、SVRGの83%を上回るが、同程度のテスト損失を維持しており、一般化性能の向上が示された。
• ASD-SVRGは、SVRGが発散するような学習率の33倍の値でも、安定した学習を維持する。
• アブレーションスタディにより、ASD-SVRGはSVRGの最適に近い学習率設定を含め、すべての学習率設定でSVRGを上回ることが確認された。
• ASD-SVRGの収束速度は最大値ではなく平均リプシッツ定数に依存するため、非同等な設定下で理論的および実験的性能が向上する。
• 提案された通信手法により、最小限の通信コストで効率的な重み付きサンプリングが可能となり、大規模分散システムにおける実用的導入を支援する。