[논문 리뷰] Binarizing Split Learning for Data Privacy Enhancement and Computation Reduction

Ngoc Duy Pham, Alsharif Abuadbba외 3명|arXiv (Cornell University)|2022. 06. 10.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 이중화된 스플릿 러닝(B-SL)을 제안하며, 스플릿 러닝의 로컬 레이어를 이진화하여 계산 및 메모리 사용을 극적으로 줄이는 방법이다. 이로 인해 추론 속도가 최대 17.5배 빨라지고 대역폭이 최대 32배 감소하며, 데이터 프라이버시도 향상된다. B-SL은 압축된 특성 맵으로부터의 泄露를 감소시키고, 泄露 손실과 차별적 프라이버시를 통합하여 더 강력한 프라이버시 보장을 제공하며, SSIM 기반 泄露가 최대 50% 감소하고 특성 공간 해킹 공격에 효과적으로 대응한다.

ABSTRACT

Split learning (SL) enables data privacy preservation by allowing clients to collaboratively train a deep learning model with the server without sharing raw data. However, SL still has limitations such as potential data privacy leakage and high computation at clients. In this study, we propose to binarize the SL local layers for faster computation (up to 17.5 times less forward-propagation time in both training and inference phases on mobile devices) and reduced memory usage (up to 32 times less memory and bandwidth requirements). More importantly, the binarized SL (B-SL) model can reduce privacy leakage from SL smashed data with merely a small degradation in model accuracy. To further enhance the privacy preservation, we also propose two novel approaches: 1) training with additional local leak loss and 2) applying differential privacy, which could be integrated separately or concurrently into the B-SL model. Experimental results with different datasets have affirmed the advantages of the B-SL models compared with several benchmark models. The effectiveness of B-SL models against feature-space hijacking attack (FSHA) is also illustrated. Our results have demonstrated B-SL models are promising for lightweight IoT/mobile applications with high privacy-preservation requirements such as mobile healthcare applications.

연구 동기 및 목표

• 자원이 제한된 모바일 및 IoT 디바이스에서 스플릿 러닝의 높은 계산 및 메모리 오버헤드를 해결한다.
• 특히 시간 시리즈 및 ECG와 같은 민감한 데이터에서 공유되는 압축된 특성 맵으로부터의 데이터 프라이버시 泄露를 줄인다.
• 이진화와 새로운 泄露 감소 기법을 융합하여 정확도 저하 없이 프라이버시 보존을 향상시킨다.
• 이진화된 모델에 차별적 프라이버시를 통합하여 최소한의 정확도 손실로도 증명 가능한 프라이버시 보장을 제공한다.
• 특성 공간 해킹 공격(FSHA)에 대한 B-SL의 강건성과 실제 환경에서의 효과성을 평가한다.

제안 방법

• 스플릿 러닝의 로컬 클라이언트 측 레이어만 이진화하고 서버 측은 정밀도를 유지함으로써 전방 및 역전파를 가속화한다.
• 로컬 이진화 레이어를 새로운 로컬 泄露 손실을 최소화하기 위해 최적화하는 하이브리드 훈련 전략을 적용한다.
• 랜덤라이징 리스폰스 메커니즘을 통해 차별적 프라이버시를 통합하여 이진화된 활성화에 통제된 노이즈를 주입함으로써 ε-차별적 프라이버시를 확보한다.
• 두 부분으로 구성된 모델 아키텍처를 사용한다: 클라이언트는 첫 번째 몇 개의 레이어를 담당(이진화), 서버는 나머지 레이어를 처리(정밀도 유지)하여 프라이버시를 보존하는 협업을 가능하게 한다.
• SSIM 및 KL-다이버전스 지표를 사용하여 프라이버시 泄露를 정량적으로 평가하고, B-SL을 표준 SL 및 기타 기준 모델과 비교한다.
• FSHA 하에서 MNIST, CIFAR-10 및 기타 데이터셋에서 종단 간 평가를 수행하여 재구성 저항성과 모델의 강건성을 테스트한다.

Figure 1: Visual invertibility of a typical CNN under SL setting. The feature maps show images visually plotted from a channel in the first convolution and subsampling layers.

실험 결과

연구 질문

• RQ1 스플릿 러닝의 로컬 레이어를 이진화함으로써 모바일 및 IoT 디바이스에서 계산 및 메모리 사용을 극적으로 줄일 수 있는가, 이로 인해 정확도 저하 없이도 가능한가?
• RQ2 특성 공간 해킹 공격 하에서, 특히 시간 시리즈나 민감한 데이터일 경우, 이진화가 공유되는 압축된 특성 맵으로부터의 프라이버시 泄露를 얼마나 줄일 수 있는가?
• RQ3 제안된 로컬 泄露 손실은 이진화만으로는 충분하지 않은 정보 泄露를 추가로 최소화하는 데 얼마나 효과적인가?
• RQ4 이진화된 스플릿 러닝에 차별적 프라이버시를 효과적으로 통합하여 최소한의 정확도 손실로도 증명 가능한 프라이버시 보장을 제공할 수 있는가?
• RQ5 FSHA와 같은 데이터 재구성 공격에 대해 B-SL은 표준 스플릿 러닝보다 재구성 품질과 분류 정확도 측면에서 얼마나 더 효과적인가?

주요 결과

• B-SL은 훈련 및 추론 모두에서 표준 스플릿 러닝 대비 모바일 디바이스에서 최대 17.5배 빠른 전방 전파 시간을 달성한다.
• 로컬 활성화 및 모델 가중치의 이진화로 인해 메모리 및 대역폭 사용이 최대 32배 감소한다.
• B-SL은 표준 스플릿 러닝 대비 SSIM 기준으로 최대 50% 감소한 프라이버시 泄露를 기록하며, 특히 로컬 泄露 손실과 조합할 경우 더욱 효과적이다.
• 특성 공간 해킹 공격(FSHA) 하에서 B-SL은 스플릿 1에서 10%, 스플릿 2에서 64%의 재구성 정확도를 기록했고, 표준 SL은 각각 71%와 96%를 기록하여 더 강력한 저항성을 보였다.
• FSHA 하에서도 B-SL은 MNIST에서 94–95%의 높은 분류 정확도를 유지하지만, SL은 97–98%로 떨어지므로 B-SL이 더 높은 강건성을 보임을 시사한다.
• 랜덤라이징 리스폰스를 통한 차별적 프라이버시 통합은 최소한의 정확도 손실로도 ε-차별적 프라이버시를 달성하여 증명 가능한 프라이버시 보장을 가능하게 한다.

Figure 2: Visual invertibility of [ 16 ] and [ 18 ] approaches from our experiments. The top row, from left to right, shows the visually plotted images from activations of a convolution layer using Dropping activation outputs with $p$ set to $0$ , $5$ , and $9$ [ 16 ] . The bottom row shows the reco