[论文解读] LSTMSPLIT: Effective SPLIT Learning based LSTM on Sequential Time-Series Data

Lianlian Jiang, Yuexuan Wang+4 more|arXiv (Cornell University)|Mar 8, 2022

Privacy-Preserving Technologies in Data被引用 9

一句话总结

该论文提出 LSTMSPLIT，一种用于在多个客户端之间对序列时间序列数据应用长短期记忆（LSTM）网络的分割学习框架，通过在客户端和中心服务器之间分割LSTM，实现隐私保护的模型训练。该方法在ECG和HAR数据集上实现了具有竞争力的准确率，且通过差分隐私进一步保护了剪切层输出，未造成显著性能下降。

ABSTRACT

Federated learning (FL) and split learning (SL) are the two popular distributed machine learning (ML) approaches that provide some data privacy protection mechanisms. In the time-series classification problem, many researchers typically use 1D convolutional neural networks (1DCNNs) based on the SL approach with a single client to reduce the computational overhead at the client-side while still preserving data privacy. Another method, recurrent neural network (RNN), is utilized on sequentially partitioned data where segments of multiple-segment sequential data are distributed across various clients. However, to the best of our knowledge, it is still not much work done in SL with long short-term memory (LSTM) network, even the LSTM network is practically effective in processing time-series data. In this work, we propose a new approach, LSTMSPLIT, that uses SL architecture with an LSTM network to classify time-series data with multiple clients. The differential privacy (DP) is applied to solve the data privacy leakage. The proposed method, LSTMSPLIT, has achieved better or reasonable accuracy compared to the Split-1DCNN method using the electrocardiogram dataset and the human activity recognition dataset. Furthermore, the proposed method, LSTMSPLIT, can also achieve good accuracy after applying differential privacy to preserve the user privacy of the cut layer of the LSTMSPLIT.

研究动机与目标

• 为解决在序列时间序列分类任务中缺乏针对LSTM网络的有效分割学习方法的问题。
• 通过将LSTM的部分计算卸载到服务器，减轻资源受限客户端的计算负担。
• 在分割学习中保护数据隐私，尤其针对易受泄露的1D序列数据。
• 评估差分隐私在保护LSTM分割学习中剪切层输出方面的有效性。
• 在真实世界的时间序列数据集上，将LSTMSPLIT的性能与现有Split-1DCNN方法进行比较。

提出的方法

• LSTMSPLIT将LSTM网络划分为客户端和服务器端两部分，其中客户端训练早期层，并将隐藏状态（剪切层输出）发送至服务器。
• 服务器使用客户端的隐藏状态作为输入，完成剩余的LSTM层和最终的分类头。
• 通过添加校准噪声，对剪切层输出应用差分隐私，以防止通过推理攻击泄露敏感信息。
• 模型在多个客户端之间以联邦方式训练，每个客户端持有时间序列数据的一个数据分区。
• 使用200个隐藏单元/每层和200个训练周期等超参数，以在性能和训练时间之间取得平衡。
• 该框架支持非独立同分布（non-IID）数据，并在心电图（ECG）和人体活动识别（HAR）数据集上进行了评估。

实验结果

研究问题

• RQ1 分割学习框架能否在最小化客户端计算负载的前提下，有效训练分布式序列时间序列数据上的LSTM网络？
• RQ2 LSTMSPLIT在ECG和HAR数据集上对时间序列数据的分类性能与Split-1DCNN相比如何？
• RQ3 差分隐私在不降低模型准确率的前提下，能在多大程度上保护LSTMSPLIT剪切层输出中的数据隐私？
• RQ4 在LSTMSPLIT框架中，不同客户端数量下模型的准确率和训练动态如何变化？
• RQ5 LSTMSPLIT能否在非独立同分布的序列数据分布上保持高性能？

主要发现

• 在ECG数据集上，LSTMSPLIT实现了具有竞争力的分类准确率，尽管架构更复杂，但其性能与或优于Split-1DCNN。
• 在HAR数据集上，LSTMSPLIT表现合理，但Split-1DCNN在收敛速度和损失曲线平滑度方面略优。
• 由于每层包含200个隐藏单元的LSTM架构复杂度更高，LSTMSPLIT的训练时间长于Split-1DCNN。
• 差分隐私成功应用于剪切层输出，在保护隐私的同时维持了模型性能，尽管由于页数限制，结果未作深入讨论。
• 当总数据集大小保持不变时，LSTMSPLIT的时间复杂度在不同客户端数量下保持稳定，表明其具有良好的可扩展性。
• 与Split-1DCNN相比，LSTMSPLIT在训练过程中表现出更高的准确率波动，表明模型复杂度与训练稳定性之间存在权衡。