[論文レビュー] FedSL: Federated Split Learning on Distributed Sequential Data in Recurrent Neural Networks

Ali Abedi, Shehroz S. Khan|arXiv (Cornell University)|Nov 6, 2020

Privacy-Preserving Technologies in Data被引用数 14

ひとこと要約

本稿では、複数のクライアントに分散配置された連続的なデータセグメント（1つのシーケンスの複数の部分）上で再帰的ニューラルネットワーク（RNN）を学習するための新規なフェデレーテッドスプリット学習フレームワーク、FedSLを提案する。本手法は、生データや完全なモデルパラメータを共有せずに、RNNを部分ネットワークに分割し、クライアント間での通信によって隠れ依存関係を維持することで、通信ラウンド数を減らしつつ、FedAvg や集中学習を上回る高い精度を達成する。

ABSTRACT

Federated Learning (FL) and Split Learning (SL) are privacy-preserving Machine-Learning (ML) techniques that enable training ML models over data distributed among clients without requiring direct access to their raw data. Existing FL and SL approaches work on horizontally or vertically partitioned data and cannot handle sequentially partitioned data where segments of multiple-segment sequential data are distributed across clients. In this paper, we propose a novel federated split learning framework, FedSL, to train models on distributed sequential data. The most common ML models to train on sequential data are Recurrent Neural Networks (RNNs). Since the proposed framework is privacy-preserving, segments of multiple-segment sequential data cannot be shared between clients or between clients and server. To circumvent this limitation, we propose a novel SL approach tailored for RNNs. A RNN is split into sub-networks, and each sub-network is trained on one client containing single segments of multiple-segment training sequences. During local training, the sub-networks on different clients communicate with each other to capture latent dependencies between consecutive segments of multiple-segment sequential data on different clients, but without sharing raw data or complete model parameters. After training local sub-networks with local sequential data segments, all clients send their sub-networks to a federated server where sub-networks are aggregated to generate a global model. The experimental results on simulated and real-world datasets demonstrate that the proposed method successfully trains models on distributed sequential data, while preserving privacy, and outperforms previous FL and centralized learning approaches in terms of achieving higher accuracy in fewer communication rounds.

研究の動機と目的

• 連続的なシーケンスセグメントが異なるクライアントに分散配置されるような、フェデレーテッド学習およびスプリット学習におけるギャップを埋める。
• クライアント間やサーバー間で生データ、ラベル、または完全なモデルパラメータを共有せずに、RNNのプライバシー保護型学習を可能にする。
• 分散されたシーケンスセグメント間の隠れ依存関係を維持できるように、RNNに特化した新規なスプリット学習アプローチを開発する。
• クライアント間でのスプリット学習と、クライアントとサーバー間でのフェデレーテッド平均化を統合し、一元的な共同学習フレームワークを構築する。
• 提案手法が、既存のFLおよび集中学習手法と比較して、通信ラウンド数を減らしつつも、より高いモデル精度を達成することを実証する。

提案手法

• RNNを2つのサブネットワークに分割し、1つ目のセグメントは1つのクライアントで、2つ目のセグメントは別のクライアントでそれぞれ学習する。
• スプリット学習中にクライアント間通信を可能にし、1つ目のサブネットワークの最終隠れ状態を2つ目のサブネットワークの隠れ状態の初期化に使用することで、順序依存関係を保持する。
• 全クライアントが局所的に学習したサブネットワークを中央サーバーに送信し、グローバルモデルに集約するフェデレーテッド平均化戦略を採用する。
• 生データや完全なモデルパラメータをクライアント間、およびサーバーとクライアント間で共有せず、局所的な順序データセグメントに基づいてサブネットワークを局所的に学習する。
• シミュレーテッドおよび実世界の順序データセット（eICUデータセットを含む）に対してFedSLを適用し、患者の死亡予測に応用する。
• LoAdaBoost FedAvg と FedSL を統合することで性能をさらに向上させ、既存のFL最適化技術との互換性を実証する。

実験結果

リサーチクエスチョン

• RQ1 連続的なシーケンスセグメントが異なるクライアントに分散配置されるようなデータに対して、RNNを学習できるフェデレーテッド学習フレームワークを設計できるか？
• RQ2 スプリット学習をRNNに適応させることで、生データやモデルパラメータを共有せずに、分散されたシーケンスセグメント間の隠れ依存関係を維持できるか？
• RQ3 提案されたFedSLフレームワークは、FedAvg や集中学習を上回るモデル精度を達成するか？また、通信ラウンド数を削減できるか？
• RQ4 異なるデータ分割方式（IID と 非IID）、バッチサイズ、ローカルエポック数の条件下で、FedSLの性能はどのように変化するか？
• RQ5 LoAdaBoost FedAvg などの既存のFL最適化技術と統合することで、FedSLをさらに強化できるか？

主な発見

• 提案されたFedSLフレームワークは、生データ、ラベル、完全なモデルパラメータを共有せず、分散型の順序データ上でRNNの学習を成功裏に実行する。
• eICUデータセットにおいて、FedSLはFedAvg や LoAdaBoost FedAvg よりも高いAUC-ROCを達成し、FedSLとLoAdaBoostの組み合わせは、全テスト設定でLoAdaBoost FedAvg を上回った。
• RNN用のスプリット学習手法は、集中学習に非常に近いAUC-ROC値を達成し、バッチサイズが8や64であってもわずかな差異にとどまり、優れた収束性と性能を示した。
• FedSLは、同等またはより高い精度に到達するための通信ラウンド数をFedAvg よりも削減したため、通信効率が向上した。
• クライアント間の非IIDおよびIIDデータ分布の両方の状況において、FedSLは精度面でFedAvg や集中学習を上回った。
• FedSLとLoAdaBoost FedAvg の統合により性能がさらに向上し、本フレームワークが高度なFL最適化戦略と互換性を持つことが示された。