[論文レビュー] Semi-Cyclic Stochastic Gradient Descent

Hubert Eichner, Tomer Koren+3 more|arXiv (Cornell University)|Apr 23, 2019

Stochastic Gradient Optimization Techniques被引用数 18

ひとこと要約

本稿では、非同一分布（i.i.d.）のSGDと同等の収束保証を維持する、複数のモデルを用いた半周期的確率的勾配降下法（SC-SGD）を提案する。これは、異種のブロックにわたる固定順序のサイクルでデータを抽出する場合にも適用可能である。各ブロックごとに別々のモデルを訓練し、単純な平均化戦略で統合することで、2つのブロックでも性能劣化が生じず、最適な誤差境界を達成する。実際の実験でも、コンSENSUSモデルを上回る性能を示した。

ABSTRACT

We consider convex SGD updates with a block-cyclic structure, i.e. where each cycle consists of a small number of blocks, each with many samples from a possibly different, block-specific, distribution. This situation arises, e.g., in Federated Learning where the mobile devices available for updates at different times during the day have different characteristics. We show that such block-cyclic structure can significantly deteriorate the performance of SGD, but propose a simple approach that allows prediction with the same performance guarantees as for i.i.d., non-cyclic, sampling.

研究の動機と目的

• データがブロック周期的順序で抽出される場合に、特に日周期的なデバイス利用可能性を示すフェデレーテッドラーニング環境において、標準的SGDの性能劣化を分析すること。
• ブロック周期的サンプリング下で、たとえ2つのブロックしかない場合でも、サイクル間で持続的な分布シフトが生じるため、標準的SGDが失敗することを示すこと。
• ブロック数や周期的構造にかかわらず、i.i.d. SGDと同等の収束保証を維持できる、複数モデルアプローチを提案すること。
• ブロック分布が著しく異なる場合に、複数モデルがコンSENSUSモデルや理想化されたi.i.i.ベースラインを実証的に上回ることを示すこと。

提案手法

• データをm個のブロック固有の分布の混合としてモデル化し、ブロック間で固定順序のサイクルでサンプリングを行う。
• 各ブロックに別個のモデルを割り当て、独立したSGDチェーンで訓練する複数モデルトレーニング戦略を導入する。
• 各ブロックの最新のモデル反復値を単純に平均化することで最終予測器を形成し、ロバストネスと収束保証を確保する。
• この複数モデルアプローチが、最悪ケースのブロック周期的サンプリング下でも、i.i.d. SGDと同等のO(√(B²/T))の誤差境界を達成することを証明する。
• ブロック間の性能をバランスさせるハッチド変種を提案し、ブロック差が大きい場合にはi.i.d.ベースラインと同等またはそれを上回る性能を達成する。
• 日周期パターンを示す実世界データを用いた感情分類タスクで、実験的にアプローチを検証し、コンSENSUSモデルと複数モデルを比較する。

実験結果

リサーチクエスチョン

• RQ1 固定順序のサイクルで異なる分布からデータを抽出するブロック周期的サンプリング下でも、標準的SGDが最適な収束保証を維持できるか？
• RQ2 2つのブロックからなるサイクルであっても、各ブロックに多数のサンプルが存在する場合でも、SGDの性能が任意に劣化するのか？
• RQ3 別々の予測器を各ブロックごとに訓練する複数モデルアプローチが、ブロック周期的サンプリング下でもi.i.d. SGDと同等の収束保証を達成できるか？
• RQ4 ブロック分布が著しく異なる場合に、複数モデルアプローチが理想化されたi.i.d.ベースラインと同等またはそれを上回る性能を示せるか？
• RQ5 ハッチド変種の複数モデルアプローチは、ブロック間で強固な性能を維持できるか？また、非i.i.d.環境下でi.i.d.トレーニングを上回るか同等の精度を達成できるか？

主な発見

• ブロック周期的サンプリングは、サイクル間で持続的な分布シフトが生じるため、2つのブロックでさえも、標準的SGDの性能を任意に劣化させる可能性がある。
• 提案された複数モデルアプローチは、ブロック数や周期的構造にかかわらず、i.i.d. SGDと同等のO(√(B²/T))の収束保証を達成する。
• 実験結果から、複数モデルは同じブロック周期的データで訓練されたコンSENSUSモデルを上回ることが示された。特にブロック分布が異なる場合に顕著であった。
• 複数モデルは理想化されたi.i.d.ベースラインと同等またはそれを上回る性能を示し、非均質性を受け入れることで一般化性能が向上することを示した。
• ハッチド変種の複数モデルは、ブロック間で強固な性能を維持し、ブロック差が大きい場合にはi.i.d.トレーニングを上回るか同等の精度を達成した。