[논문 리뷰] Byzantine-Robust and Privacy-Preserving Framework for FedML

Hanieh Hashemi, Yongqin Wang외 2명|arXiv (Cornell University)|2021. 05. 05.

Privacy-Preserving Technologies in Data참고 문헌 25인용 수 13

한 줄 요약

이 논문은 신뢰할 수 있는 실행 환경(TEEs)과 GPU 가속 기반의 기울기 인코딩을 활용하여 바르자인-저항성 및 프라이버시 보장 기능을 통합한 프레임워크를 제안한다. TEE 내에서 기울기 집계를 안전하게 수행하면서도, 노이즈 인코딩 기법을 사용해 계산 부담이 큰 바르자인 탐지 기능을 GPU로 이관함으로써, 정보 이론적 프라이버시 경계를 보장하면서도 TEE 전용 기준 대비 6배 이상의 성능 향상을 달성한다.

ABSTRACT

Federated learning has emerged as a popular paradigm for collaboratively training a model from data distributed among a set of clients. This learning setting presents, among others, two unique challenges: how to protect privacy of the clients' data during training, and how to ensure integrity of the trained model. We propose a two-pronged solution that aims to address both challenges under a single framework. First, we propose to create secure enclaves using a trusted execution environment (TEE) within the server. Each client can then encrypt their gradients and send them to verifiable enclaves. The gradients are decrypted within the enclave without the fear of privacy breaches. However, robustness check computations in a TEE are computationally prohibitive. Hence, in the second step, we perform a novel gradient encoding that enables TEEs to encode the gradients and then offloading Byzantine check computations to accelerators such as GPUs. Our proposed approach provides theoretical bounds on information leakage and offers a significant speed-up over the baseline in empirical evaluation.

연구 동기 및 목표

• 페더레이티드 러닝에서 데이터 프라이버시 유출과 바르자인 클라이언트 공격이라는 이중적 과제를 해결하기 위해.
• 비신뢰할 수 있는 서버나 가속기에서 원시 기울기를 폭 lộ하지 않고도 안전하고 프라이버시 보장된 모델 훈련을 가능하게 하기 위해.
• 신뢰할 수 있는 하드웨어와 가속기와 호환되는 확장 가능하고 효율적인 바르자인 저항성 메커니즘을 설계하기 위해.
• 실제 환경에서의 높은 성능 유지를 유지하면서도 정보 유출에 대한 이론적 경계를 제공하기 위해.

제안 방법

• 클라이언트는 기울기를 암호화하여 TEE 기반 파라미터 서버에 전송함으로써 기밀성을 확보한다.
• TEE는 덧셈 정규 노이즈를 사용하여 기울기를 가림 처리함으로써 GPU로의 안전한 이관을 가능하게 한다.
• 외곽치 탐지용 쌍별 거리 계산은 GPU에서 기울기 인코딩 결과를 대상으로 수행되며, 상대적 거리 관계를 유지한다.
• TEE는 계산된 거리를 복호화하고 복원하여 바르자인 클라이언트를 식별하고 제외한다.
• 새로운 노이즈 인코딩 체계는 정보 유출이 노이즈 분산에 비례하여 제한됨을 보장하여 정보 이론적 프라이버시 보장을 가능하게 한다.
• 프레임워크는 부동소수점 기울기를 지원하며, MobileNet과 EfficientNet과 같은 표준 딥러닝 모델과 호환된다.

실험 결과

연구 질문

• RQ1 느린 암호 기반 기법에 의존하지 않고도 페더레이티드 러닝에서 프라이버시와 저항성을 동시에 확보할 수 있는 방법은 무엇인가?
• RQ2 기울기 인코딩 메커니즘을 설계하여, 인코딩된 기울기에서 정확한 바르자인 탐지가 가능하면서도 정보 유출를 최소화할 수 있는가?
• RQ3 TEE-GPU 파이프라인에서 노이즈 인코딩을 사용할 경우, 정보 유출의 이론적 경계는 무엇인가?
• RQ4 제안된 이관 메커니즘은 TEE 내에서 바르자인 탐지 기능을 전적으로 수행하는 것과 비교해 성능에서 어떻게 다를까?
• RQ5 프레임워크는 동적 클라이언트 참여 및 탈퇴를 효율적으로 지원할 수 있는가?

주요 결과

• 제안된 프레임워크는 TEE 내에서만 바르자인 탐지를 수행하는 기준 대비 훈련 시간에서 6배 이상의 성능 향상을 달성한다.
• 정보 이론적 경계에 따르면, 정보 유출은 신호 대 노이즈 비율의 로그 비례하여 제한되며, GPU에 대한 클라이언트 데이터 노출 최소화를 보장한다.
• 기울기 인코딩은 상수 배율 내에서 상대적 쌍별 거리를 유지하므로, 원시 기울기를 폭 lộ하지 않으면서도 정확한 외곽치 탐지가 가능하다.
• 시스템은 (α,f)-바르자인 안정성 모델에서 안정성을 유지하며, N ≥ 2f + 3일 경우 최대 f명의 바르자인 클라이언트를 수용할 수 있다.
• 실행 시간은 TEE 내에서의 CPU 기반 인코딩 및 암호화에 의해 주로 차지하며, GPU 계산 및 통신 비용은 무시할 만하다.
• 프레임워크는 표준 하드웨어에서 실용적이고 구현 가능한 것으로, 부동소수점 기울기와 실세계 모델인 MobileNet 및 EfficientNet을 지원한다.