[논문 리뷰] LSTMSPLIT: Effective SPLIT Learning based LSTM on Sequential Time-Series Data

Lianlian Jiang, Yuexuan Wang외 4명|arXiv (Cornell University)|2022. 03. 08.

Privacy-Preserving Technologies in Data인용 수 9

한 줄 요약

이 논문은 여러 클라이언트 간의 순차적 시계열 데이터에 대해 장기 단기 기억(LSTM) 네트워크를 적용하는 분할 학습 프레임워크인 LSTMSPLIT을 제안한다. 이는 클라이언트와 중앙 서버 간에 LSTM을 분할하여 기밀 보장 모델 훈련을 가능하게 한다. ECG 및 HAR 데이터셋에서 경쟁력 있는 정확도를 달성하며, 차별적 비밀보장 기법을 통해 컷레이어 출력을 보호함으로써 성능 저하 없이 데이터 기밀성을 유지한다.

ABSTRACT

Federated learning (FL) and split learning (SL) are the two popular distributed machine learning (ML) approaches that provide some data privacy protection mechanisms. In the time-series classification problem, many researchers typically use 1D convolutional neural networks (1DCNNs) based on the SL approach with a single client to reduce the computational overhead at the client-side while still preserving data privacy. Another method, recurrent neural network (RNN), is utilized on sequentially partitioned data where segments of multiple-segment sequential data are distributed across various clients. However, to the best of our knowledge, it is still not much work done in SL with long short-term memory (LSTM) network, even the LSTM network is practically effective in processing time-series data. In this work, we propose a new approach, LSTMSPLIT, that uses SL architecture with an LSTM network to classify time-series data with multiple clients. The differential privacy (DP) is applied to solve the data privacy leakage. The proposed method, LSTMSPLIT, has achieved better or reasonable accuracy compared to the Split-1DCNN method using the electrocardiogram dataset and the human activity recognition dataset. Furthermore, the proposed method, LSTMSPLIT, can also achieve good accuracy after applying differential privacy to preserve the user privacy of the cut layer of the LSTMSPLIT.

연구 동기 및 목표

• 순차적 시계열 분류에 적합한 효과적인 분할 학습 기법이 LSTM 네트워크에 부족한 문제를 해결하기 위해.
• 자원이 제한된 클라이언트의 계산 부담을 줄이기 위해 LSTM의 일부를 서버로 이관하기 위해.
• 특히 1차원 순차적 데이터는 泄露에 취약하므로, 분할 학습에서 데이터 기밀성을 유지하기 위해.
• 분할 학습에서 LSTMs를 사용할 때 컷레이어 출력을 보호하기 위해 차별적 비밀보장 기법의 효과를 평가하기 위해.
• 실제 시계열 데이터셋에서 기존의 Split-1DCNN 방법과의 성능 비교를 위해.

제안 방법

• LSTMSPLIT은 LSTM 네트워크를 클라이언트 측과 서버 측 구성요소로 분할하며, 클라이언트는 초기 레이어를 훈련하고 은닉 상태(컷레이어 출력)를 서버로 전송한다.
• 서버는 나머지 LSTM 레이어와 최종 분류 헤드를 완성하며, 클라이언트의 은닉 상태를 입력으로 사용한다.
• 차별적 비밀보장 기법은 컷레이어 출력에 적용되어, 유출 공격으로부터 민감한 정보를 보호하기 위해 보정된 노이즈를 추가한다.
• 모델은 각각 시계열 데이터의 일부를 보유한 다수의 클라이언트 간에 연합 방식으로 훈련된다.
• 성능와 훈련 시간의 균형을 맞추기 위해 200개의 은닉 유닛을 각 LSTM 레이어당 사용하고, 200개의 훈련 에포크를 설정한다.
• 프레임워크는 비IIDs 데이터를 지원하며, 심전도(ECG) 및 인간 활동 인식(HAR) 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 분산된 순차적 시계열 데이터에서 클라이언트 측 계산 부담을 최소화하면서 효과적으로 LSTM 네트워크를 훈련할 수 있는 분할 학습 프레임워크가 가능한가?
• RQ2 LSTMSPLIT의 성능은 ECG 및 HAR 데이터셋의 시계열 데이터 분류에서 Split-1DCNN과 비교해 어떻게 되는가?
• RQ3 차별적 비밀보장 기법이 LSTMSPLIT의 컷레이어 출력에서 데이터 기밀성을 얼마나 잘 보존하는가, 이로 인해 모델 정확도가 떨어지지 않는가?
• RQ4 LSTMSPLIT 프레임워크에서 클라이언트 수가 다양할 경우 모델 정확도와 훈련 동작 방식은 어떻게 변화하는가?
• RQ5 LSTMSPLIT은 비IIDs 순차적 데이터 분포에서도 높은 성능을 유지할 수 있는가?

주요 결과

• LSTMSPLIT은 더 복잡한 아키텍처를 가짐에도 불구하고 ECG 데이터셋에서 경쟁력 있는 분류 정확도를 달성하며, Split-1DCNN과 유사하거나 그 이상의 성능을 보였다.
• HAR 데이터셋에서는 LSTMSPLIT이 합리적인 성능을 보였지만, Split-1DCNN은 약간 더 좋은 수렴 성능과 더 부드러운 손실 곡선을 보였다.
• LSTM 아키텍처의 복잡성으로 인해 LSTMSPLIT의 훈련 시간은 Split-1DCNN보다 더 길었다(각 레이어당 200개의 은닉 유닛 사용).
• 컷레이어 출력에 차별적 비밀보장 기법이 성공적으로 적용되어 기밀성이 유지되었으며, 성능 저하 없이도 효과를 보였다. 다만 페이지 제한으로 인해 결과가 완전히 논의되지 않았다.
• 전체 데이터셋 크기가 일정할 경우 LSTMSPLIT의 시간 복잡도는 클라이언트 수에 관계없이 안정적이었으며, 일관된 확장성을 보였다.
• LSTMSPLIT는 Split-1DCNN보다 훈련 중 정확도 변동 폭이 더 크며, 이는 모델 복잡성과 훈련 안정성 사이의 상충 관계를 시사한다.