[논문 리뷰] Byzantine-Resilient Federated Learning with Heterogeneous Data Distribution

Saurav Prakash, Hanieh Hashemi외 3명|arXiv (Cornell University)|2020. 10. 15.

Privacy-Preserving Technologies in Data참고 문헌 65인용 수 12

한 줄 요약

DiverseFL는 TEE 기반 에너클레이션을 통해 데이터 기밀성을 유지하면서도, 개인화된 가이딩 업데이트와의 비교를 통해 악성 클라이언트를 탐지하는 비잔티노스에 강건한 분산 학습 프레임워크를 제안한다. 비아이디어(Non-IID) 환경에서 옥타르-유사 성능을 달성하며, 수렴성과 강건성 면에서 유사도 기반 방법보다 뛰어나다.

ABSTRACT

For mitigating Byzantine behaviors in federated learning (FL), most state-of-the-art approaches, such as Bulyan, tend to leverage the similarity of updates from the benign clients. However, in many practical FL scenarios, data is non-IID across clients, thus the updates received from even the benign clients are quite dissimilar. Hence, using similarity based methods result in wasted opportunities to train a model from interesting non-IID data, and also slower model convergence. We propose DiverseFL to overcome this challenge in heterogeneous data distribution settings. Rather than comparing each client's update with other client updates to detect Byzantine clients, DiverseFL compares each client's update with a guiding update of that client. Any client whose update diverges from its associated guiding update is then tagged as a Byzantine node. The FL server in DiverseFL computes the guiding update in every round for each client over a small sample of the client's local data that is received only once before start of the training. However, sharing even a small sample of client's data with the FL server can compromise client's data privacy needs. To tackle this challenge, DiverseFL creates a Trusted Execution Environment (TEE)-based enclave to receive each client's sample and to compute its guiding updates. TEE provides a hardware assisted verification and attestation to each client that its data is not leaked outside of TEE. Through experiments involving neural networks, benchmark datasets and popular Byzantine attacks, we demonstrate that DiverseFL not only performs Byzantine mitigation quite effectively, it also almost matches the performance of OracleSGD, where the server only aggregates the updates from the benign clients.

연구 동기 및 목표

• 비아이디어 분산 학습에서 양호한 클라이언트 업데이트가 본질적으로 서로 유사하지 않기 때문에, 유사도 기반 비잔티노스 탐지의 한계를 해결하기 위해.
• 데이터 이질성 하에서 기능을 상실하는 상호 클라이언트 업데이트 유사도에 의존하지 않고도 효과적인 비잔티노스 탐지를 가능하게 하기 위해.
• 신뢰할 수 있는 실행 환경(TEE) 내에서 안전하게 계산하고 저장함으로써 클라이언트 데이터 기밀성을 유지하기 위해.
• 오직 양호한 업데이트만을 집계하는 이상적인 OracleSGD 시스템과 동일한 수준의 모델 수렴성과 강건성을 달성하기 위해.
• 이질적인 데이터 분포를 가진 실세계 분산 학습 구현을 위한 실용적이고 기밀성을 보장하는 솔루션을 제공하기 위해.

제안 방법

• 학습 시작 시 각 클라이언트의 초기 로컬 데이터 샘플이 TEE 에너클레이션으로 안전하게 전송되어 개인화된 가이딩 업데이트를 계산한다.
• TEE는 하드웨어 기반 인증과 격리 기능을 통해 데이터 기밀성과 무결성을 보장한다.
• 각 분산 학습 라운드에서 서버는 각 클라이언트의 모델 업데이트를 자신의 가이딩 업데이트와 비교하여 편차를 탐지한다.
• 자신의 가이딩 업데이트에서 크게 이탈한 클라이언트는 비잔티노스로 간주되어 집계에서 제외된다.
• 가이딩 업데이트는 클라이언트별 기준점으로서 상호 클라이언트 유사도 검사의 대체 수 Mittel이 된다.
• 업데이트 유사도에 의존하지 않아 비아이디어 데이터 분포에 대해 강건하다.

실험 결과

연구 질문

• RQ1 비아이디어 데이터 분포 하에서 양호한 업데이트가 본질적으로 서로 다를 때, 분산 학습에서 비잔티노스 탐지가 강건하게 유지될 수 있는가?
• RQ2 원시 데이터를 폭 lộ하지 않고도 클라이언트별 가이딩 업데이트를 계산할 수 있는 기밀성 보장 메커니즘을 설계할 수 있는가?
• RQ3 데이터 이질성 하에서 유사도 기반 탐지보다 클라이언트별 가이딩 업데이트를 사용할 경우 수렴성과 강건성 면에서 뛰어나지 않는가?
• RQ4 TEE 기반 접근 방식이 비잔티노스에 강건한 분산 학습에서 이상적인 OracleSGD 시스템에 가까운 성능을 얼마나 달성할 수 있는가?
• RQ5 실제 공격을 고려한 비아이디어 환경에서 DiverseFL은 Bulyan과 같은 최첨단 방법과 비교해 어떻게 성능을 냈는가?

주요 결과

• DiverseFL은 양호한 클라이언트를 정확히 알고 있다는 가정하에만 가능한 OracleSGD와 거의 동일한 모델 성능을 달성한다.
• 유사도 기반 방법(예: Bulyan)에 비해 비아이디어 환경에서 상당히 뛰어나며, 상호 클라이언트 업데이트 유사도에 대한 의존도를 줄였기 때문이다.
• TEE의 사용으로 클라이언트 데이터 샘플이 泄露되지 않아 강력한 기밀성 보장을 제공한다.
• 높은 데이터 이질성과 다양한 비잔티노스 공격 하에서도 DiverseFL은 빠른 수렴성을 유지한다.
• 가이딩 업데이트 메커니즘 덕분에 유사하지 않은 양호한 업데이트에도 불구하고 정확한 비잔티노스 탐지가 가능하다.
• 실세계 분산 학습 시나리오에서 기밀성 유지와 높은 강건성을 동시에 확보함으로써 실용성의 가능성을 입증했다.