[論文レビュー] Stochastic, Distributed and Federated Optimization for Machine Learning

Jakub Konečný|arXiv (Cornell University)|Jul 4, 2017

Stochastic Gradient Optimization Techniques参考文献 156被引用数 32

ひとこと要約

本論文は、分散型・フェデレーテッド学習のための新規な確率的最適化アルゴリズムを提案し、分散型最適化アルゴリズムを用いることで、分散型最適化アルゴリズムを用いることで、分散型最適化アルゴリズムを用いることで、分散型最適化アルゴリズムを用いることで、分散型最適化アルゴリズムを用いることで、分散型最適化アルゴリズムを用いることで、分散型最適化アルゴリズムを用いることで、分散型最適化アルゴリズムを用いることで、分散型最適化アルゴリズムを用いることで、分散型最適化アルゴリズムを用いることで、分散型最適化アルゴリズムを用いることで、分散型最適化アルゴリズムを用いることで、分散型最適化アルゴリズムを用いることで、分散型最適化アルゴリズムを用いることで、分散型最uitableなフレームワークを提供し、線形収束性と分散低減を達成するとともに、ローカルな部分問題の解法により通信コストを削減し、中央集権的なデータ収集を避けることでプライバシー保護を実現する。主な貢献は、スケーラブルかつ分散型の学習を維持しながら、モデルの精度とプライバシーを保つ通信効率の高いフレームワークの構築である。

ABSTRACT

We study optimization algorithms for the finite sum problems frequently arising in machine learning applications. First, we propose novel variants of stochastic gradient descent with a variance reduction property that enables linear convergence for strongly convex objectives. Second, we study distributed setting, in which the data describing the optimization problem does not fit into a single computing node. In this case, traditional methods are inefficient, as the communication costs inherent in distributed optimization become the bottleneck. We propose a communication-efficient framework which iteratively forms local subproblems that can be solved with arbitrary local optimization algorithms. Finally, we introduce the concept of Federated Optimization/Learning, where we try to solve the machine learning problems without having data stored in any centralized manner. The main motivation comes from industry when handling user-generated data. The current prevalent practice is that companies collect vast amounts of user data and store them in datacenters. An alternative we propose is not to collect the data in first place, and instead occasionally use the computational power of users' devices to solve the very same optimization problems, while alleviating privacy concerns at the same time. In such setting, minimization of communication rounds is the primary goal, and we demonstrate that solving the optimization problems in such circumstances is conceptually tractable.

研究の動機と目的

• 強い凸問題に対して、完全勾配計算を必要とせず、線形収束を達成する分散低減型確率的最適化手法の開発。
• 任意のローカル最適化アルゴリズムで解ける、各ノードで形成されるローカル部分問題を用いた通信効率の高い分散最適化フレームワークの設計。
• ユーザーのデバイス上にデータを保持するフェデレーテッド最適化を実現し、通信を最小限に抑え、プライバシーを保護する。
• 深層ニューラルネットワークの大規模分散学習におけるスケーラビリティと耐障害性の課題の解決。
• フェデレーテッド最適化が、分散機械学習のスケーラブルな計算モデルとして実用的かどうかの検討。

提案手法

• 強い凸設定下で分散低減を実現する半確率的勾配降下法S2GDおよびS2GD+を提案。線形収束性を達成する。
• 各ノードでローカル部分問題を形成し、任意のローカル最適化アルゴリズムで独立に解ける分散最適化フレームワークを導入。
• 通信効率の高い反復的スキームを採用し、通信の送受信コストを最小限に抑えるために、集約された更新情報のみを共有。
• 中央集権的なデータ収集を避けることで、ユーザーのデバイス上でモデルの更新を実行するフェデレーテッドラーニングにフレームワークを適用。
• サーバーが個々のユーザーの寄与を隠すために、セキュアアグリゲーションプロトコルを採用し、プライバシーの強化を図る。
• ノイズ注入による微分プライバシーを統合し、フェデレーテッド環境で形式的なプライバシー保証を提供。

実験結果

リサーチクエスチョン

• RQ1 分散低減型確率的手法は、完全勾配計算を必要とせずに線形収束を達成できるか？
• RQ2 収束性と正確性を維持しつつ、分散最適化における通信コストをどのように最小化できるか？
• RQ3 フェデレーテッド最適化は、実世界のシステムにおける中央集権的学習の代替手段として実用的でスケーラブルな選択肢とみなせるか？
• RQ4 セキュアアグリゲーションと微分プライバシーは、通信効率の高い最適化フレームワークと統合可能か？
• RQ5 大規模に展開するフェデレーテッド最適化において、システムレベルでの課題と設計上のトレードオフは何か？

主な発見

• S2GDおよびS2GD+は、分散低減を実現し、強い凸目的関数に対して線形収束を達成し、収束速度において標準的なSGDを著しく上回る。
• ローカル部分問題を用いた提案された分散フレームワークにより、ノード間での効率的なスケーリングが可能となり、通信オーバーヘッドを低減しながら収束性を維持する。
• フェデレーテッド最適化により、中央集権的なデータ収集を避けながら、ユーザーのデバイス上でモデルを学習可能となり、プライバシーに配慮した応用に適している。
• フェデレーテッド環境では通信効率が極めて重要であり、本フレームワークにより収束に必要な通信ラウンド数を削減できる。
• セキュアアグリゲーションと微分プライバシーをフレームワークに統合可能であり、モデルの有用性を損なわせることなく、強力なプライバシー保証を提供できる。
• フレームワークは概念的に明快でスケーラブルであり、RNNのような複雑なモデルをモバイルデバイス上で学習可能にサポートする。