[논문 리뷰] PPFL: Privacy-preserving Federated Learning with Trusted Execution Environments

Fan Mo, Hamed Haddadi외 4명|arXiv (Cornell University)|2021. 04. 29.

Privacy-Preserving Technologies in Data참고 문헌 68인용 수 40

한 줄 요약

PPFL은 클라이언트와 서버 모두의 TEEs 안에서 DNN 레이어를 훈련시키는 프라이버시 보호 연합 학습 프레임워크를 제안하며, 제한된 TEE 메모리에 대응하기 위해 탐욕적 레이어-와이즈 훈련을 사용하고, 통신 라운드를 축소하고 소폭의 오버헤드로 유사한 모델 유용성을 달성한다.

ABSTRACT

We propose and implement a Privacy-preserving Federated Learning ($PPFL$) framework for mobile systems to limit privacy leakages in federated learning. Leveraging the widespread presence of Trusted Execution Environments (TEEs) in high-end and mobile devices, we utilize TEEs on clients for local training, and on servers for secure aggregation, so that model/gradient updates are hidden from adversaries. Challenged by the limited memory size of current TEEs, we leverage greedy layer-wise training to train each model's layer inside the trusted area until its convergence. The performance evaluation of our implementation shows that $PPFL$ can significantly improve privacy while incurring small system overheads at the client-side. In particular, $PPFL$ can successfully defend the trained model against data reconstruction, property inference, and membership inference attacks. Furthermore, it can achieve comparable model utility with fewer communication rounds (0.54$ imes$) and a similar amount of network traffic (1.002$ imes$) compared to the standard federated learning of a complete model. This is achieved while only introducing up to ~15% CPU time, ~18% memory usage, and ~21% energy consumption overhead in $PPFL$'s client-side.

연구 동기 및 목표

• 연합 학습에서의 프라이버시 위험과 데이터 재구성, 속성 추론, 멤버십 추론에 대한 더 강력한 보호의 필요성을 제시한다.
• FL 중 모든 레이어를 보호하기 위해 각 DNN 레이어를 TEEs 내부에서 훈련시키는 실용적인 프레임워크인 PPFL을 제안한다.
• 제한된 TEE 메모리를 극복하면서도 모델 유용성을 유지하기 위해 레이어-별 학습과 안전한 집계를 가능하게 한다.

제안 방법

• 탐욕적 레이어-와이즈 학습과 안전한 집계를 사용하여 각 DNN 레이어를 클라이언트 TEEs 내부에서 훈련시킨다.
• 일반 데이터 교환을 위한 REE-to-REE와 개인 레이어 업데이트를 위한 TEE-to-TEE의 두 개의 보안 채널을 사용한다.
• 서버 TEE 내부에서 레이어 업데이트를 안전하게 집계하고 FedAvg를 적용하여 새로운 글로벌 레이어를 형성한다.
• TEE 메모리 활용을 개선하고 라운드를 줄이기 위해 블록당 다중 레이어의 훈련을 지원한다.
• 전방향 및 역방향 패스 중 REEs와 TEEs 간에 중간 활성화 값을 전달하기 위해 모델 분할 실행을 활용한다.

실험 결과

연구 질문

• RQ1 PPFL이 FL에서 학습된 모든 DNN 레이어에 대해 데이터 재구성, 속성 추론, 멤버십 추론 공격을 차단할 수 있는가?
• RQ2 TEE 내부에서 탐욕적 레이어-와이즈 학습을 사용할 때 프라이버시 보장, 모델 유용성, 시스템 오버헤드 간의 트레이드오프는 무엇인가?
• RQ3 PPFL은 표준 엔드투엔드 FL과 비교하여 라운드 수, 네트워크 트래픽, 클라이언트 측 자원 사용 측면에서 어떻게 다른가?

주요 결과

• PPFL은 학습된 모델을 데이터 재구성, 속성 추론, 멤버십 추론 공격으로부터 방어할 수 있다(공격은 임의 추정이나 50% 정밀도로 약화된다).
• PPFL은 전체 모델 학습 시 표준 FL에 비해 약 0.54배의 더 적은 통신 라운드와 1.002배의 유사한 네트워크 트래픽으로, 처음 몇 개의 레이어만 학습할 때는 ML 성능이 비슷하다.
• PPFL은 클라이언트 측에서 최대 약 15%의 CPU 시간, 약 18%의 메모리 사용량, 약 21%의 에너지 소비 오버헤드를 도입한다.
• PPFL로 모든 DNN 레이어를 학습시키면 엔드투엔드 FL보다 대략 3배의 지연이 발생하지만, 초기 레이어에 집중하면 레이어-와이즈 학습이 비슷한 유틸리티를 달성할 수 있다.