[論文レビュー] Scatterbrained: A flexible and expandable pattern for decentralized machine learning

Miller Wilt, Jordan Matelsky+1 more|arXiv (Cornell University)|Dec 14, 2021

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

Scatterbrained は、モデル学習とネットワーク通信を分離することで、動的かつ柔軟な計算グラフトポロジー、ノードレベルでのパラメータ共有（例：シーディング、リーチィング、ピアリング）の設定、ノードのドロップアウト対応を可能にする、分散型フェデレーテッドラーニング向けの柔軟で PyTorch 互換のフレームワークを提案する。主な貢献は、任意の機械学習モデルを変更せずに統合可能なモジュラーかつ拡張可能なアーキテクチャであり、コミュニティによる採用や実験のためのオープンソース実装が利用可能である。

ABSTRACT

Federated machine learning is a technique for training a model across multiple devices without exchanging data between them. Because data remains local to each compute node, federated learning is well-suited for use-cases in fields where data is carefully controlled, such as medicine, or in domains with bandwidth constraints. One weakness of this approach is that most federated learning tools rely upon a central server to perform workload delegation and to produce a single shared model. Here, we suggest a flexible framework for decentralizing the federated learning pattern, and provide an open-source, reference implementation compatible with PyTorch.

研究の動機と目的

• 従来のフェデレーテッドラーニングにおける中央集権的なサーバー依存の限界、特に動的または不安定なネットワーク環境における課題を解決すること。
• 開発者が機械学習モデルの下流変更なしに、カスタムの計算グラフトポロジーとノード間通信動作（例：シーディング、リーチィング）を定義できること。
• 機械学習モデルと通信フレームワークを分離することで、モデルに依存しない動作とコードのモジュラリティを向上させること。
• 1つの拡張可能なソフトウェアフレームワーク内で、中央集権的および分散型の学習パターンを両方サポートすること。
• 新規の分散型フェデレーテッドラーニングアルゴリズムの実験を容易にするためのリファレンス実装を提供すること。

提案手法

• 機械学習モデルがネットワーキングや重み結合ロジックから分離された 'プラグイン' モジュールとしてカプセル化される、プラグイン可能なアーキテクチャを導入する。
• 高レベルの状態なしのネットワーキング API が通信を抽象化し、ノードが最小限のコード（例：ピアのネームスペースを参照する）でフェデレーテッドコミュニティに参加できるようにする。
• 計算グラフトポロジーはユーザー定義であり、中央集権的から完全接続型、カスタム構成まで多様な設定が可能で、さまざまな展開シナリオに対応する。
• ノードの役割が明示的にモデル化されており、シーディング（送信のみ）、リーチィング（受信のみ）、ピアリング（双方向）、ブロッキング（通信なし）の各役割をサポートすることで、柔軟かつユースケースに特化したデータ共有ポリシーを実現する。
• 新しいノードが 'リーチィング' モードでピアからモデルをダウンロードすることで、ローカルのモデルストレージを必要とせずに動的に参加可能である。
• すべての通信はモデルとは独立して動作するネットワーキングレイヤーによって管理され、トレーニングロジックが変更されず、移植性が保証される。

実験結果

リサーチクエスチョン

• RQ1 任意のユーザー定義の計算グラフトポロジーをサポートするフェデレーテッドラーニングフレームワークは、機械学習モデルの制約なしにどのように設計できるか？
• RQ2 分散学習において、柔軟で設定可能なノードレベルのパラメータ共有（例：送信のみ、受信のみ、双方向）を実現するためのアーキテクチャパターンは何か？
• RQ3 不安定な接続性、ノードのドロップアウト、一時的な通信が発生する状況下でも、フェデレーテッドラーニングシステムは効果的に動作可能か？
• RQ4 分散環境において、機械学習モデルを通信および調整ロジックからどれほど分離できるか？
• RQ5 汎用フレームワークは、中央集権的および分散型のフェデレーテッドラーニングパターンをどのようにシームレスにサポートできるか？

主な発見

• Scatterbrained は、モデル学習とネットワーク通信を成功裏に分離し、フレームワークのコアロジックに変更を加えずに、任意の PyTorch 互換モデルをそのまま利用可能にした。
• フレームワークにより、新しいノードが 'リーチィング' モードでピアからモデルをダウンロードすることで、起動時のローカルモデルストレージが不要になる。
• システムは、中央集権的、完全接続型、カスタム構成を含む多様な計算グラフトポロジーをサポートしており、ノードの役割を設定可能にすることで実証された。
• フレームワークのモジュラー設計により、開発者はシーディング、ピアリングなどのノードレベル通信動作を調整可能なパラメータとして定義でき、さまざまなユースケースに柔軟に対応できる。
• GitHub 上でのオープンソース実装により、コミュニティによる採用が促進され、新規の分散型フェデレーテッドラーニングアルゴリズムの迅速なプロトタイピングが可能になった。
• 選択的接続性と非対称な重み共有を可能にするアーキテクチャにより、データ漏洩のリスクが低減され、逆ルックアップ攻撃の表面積が縮小された。