[論文レビュー] LSTMSPLIT: Effective SPLIT Learning based LSTM on Sequential Time-Series Data

Lianlian Jiang, Yuexuan Wang+4 more|arXiv (Cornell University)|Mar 8, 2022

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

本稿では、長短期間記憶（LSTM）ネットワークを複数のクライアントに跨る時系列データに適用する分割学習フレームワーク、LSTMSPLITを提案する。LSTMをクライアントと中央サーバーに分割することで、プライバシー保護型のモデル学習を実現する。ECGおよびHARデータセットにおいて競争力ある精度を達成しており、微分プライバシーを用いてカット層出力をさらに保護することで、性能の著しい低下を伴わずにプライバシーを確保している。

ABSTRACT

Federated learning (FL) and split learning (SL) are the two popular distributed machine learning (ML) approaches that provide some data privacy protection mechanisms. In the time-series classification problem, many researchers typically use 1D convolutional neural networks (1DCNNs) based on the SL approach with a single client to reduce the computational overhead at the client-side while still preserving data privacy. Another method, recurrent neural network (RNN), is utilized on sequentially partitioned data where segments of multiple-segment sequential data are distributed across various clients. However, to the best of our knowledge, it is still not much work done in SL with long short-term memory (LSTM) network, even the LSTM network is practically effective in processing time-series data. In this work, we propose a new approach, LSTMSPLIT, that uses SL architecture with an LSTM network to classify time-series data with multiple clients. The differential privacy (DP) is applied to solve the data privacy leakage. The proposed method, LSTMSPLIT, has achieved better or reasonable accuracy compared to the Split-1DCNN method using the electrocardiogram dataset and the human activity recognition dataset. Furthermore, the proposed method, LSTMSPLIT, can also achieve good accuracy after applying differential privacy to preserve the user privacy of the cut layer of the LSTMSPLIT.

研究の動機と目的

• 時系列分類に向けたLSTMネットワークにおける有効な分割学習アプローチの欠如に応えること。
• リソース制約のあるクライアントの計算負荷を軽減するため、LSTMの一部をサーバーにオフロードすること。
• 特に1次元時系列データは漏洩のリスクが高いため、分割学習におけるデータプライバシーを保護すること。
• LSTMを用いた分割学習におけるカット層出力の保護に、微分プライバシーの有効性を評価すること。
• 実世界の時系列データセットを用いて、LSTMSPLITの性能を既存のSplit-1DCNN手法と比較すること。

提案手法

• LSTMSPLITはLSTMネットワークをクライアント側とサーバー側に分割し、クライアントが初期層を学習し、隠れ状態（カット層出力）をサーバーに送信する。
• サーバーは残りのLSTM層と最終分類ヘッドを完了し、クライアントの隠れ状態を入力として使用する。
• 微分プライバシーをカット層出力に適用し、推論攻撃からの機微な情報漏洩を防ぐために、調整されたノイズを追加する。
• 複数のクライアントが時系列データの一部を保持する形で、フェデレーテッドな形でモデルを学習する。
• 性能と学習時間のバランスを取るために、各LSTM層に200個の隠れユニットと200エポックの学習を用いる。
• 非IIDデータをサポートし、心電図（ECG）およびヒューマンアクティビティ認識（HAR）データセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 分散時系列データ上でLSTMネットワークを効果的に学習できる分割学習フレームワークは、クライアント側の計算負荷を最小限に抑えることができるか？
• RQ2 ECGおよびHARデータセットからの時系列データ分類において、LSTMSPLITの性能はSplit-1DCNNと比べてどうか？
• RQ3 微分プライバシーは、LSTMSPLITのカット層出力におけるデータプライバシーを、モデル精度の著しい低下を伴わずどの程度保護できるか？
• RQ4 LSTMSPLITフレームワークにおいて、クライアント数の変化に伴い、モデルの精度と学習ダイナミクスはどのように変化するか？
• RQ5 LSTMSPLITは、非IIDな時系列データ分布に対しても高い性能を維持できるか？

主な発見

• LSTMSPLITは、より複雑なアーキテクチャであるにもかかわらず、ECGデータセットで競争力ある分類精度を達成しており、Split-1DCNNと同等またはそれ以上の性能を示している。
• HARデータセットでは、LSTMSPLITはまごうべからく良好な性能を示しているが、Split-1DCNNはやや良好な収束性と滑らかな損失曲線を示している。
• LSTMアーキテクチャの複雑さ（各層に200隠れユニット）のため、LSTMSPLITの学習時間はSplit-1DCNNよりも長い。
• カット層出力に微分プライバシーを成功裏に適用し、プライバシーを保護しながらもモデル性能を維持しているが、ページ数制限のため結果の詳細は十分に議論されていない。
• 総データサイズが一定の場合、LSTMSPLITの時間計算量はクライアント数に関係なく安定しており、一貫したスケーラビリティを示している。
• LSTMSPLITは、Split-1DCNNと比較して、学習中により高い精度のフラクチュエーションを示しており、モデルの複雑さと学習安定性のトレードオフが生じていると考えられる。