[논문 리뷰] Privacy-preserving Decentralized Aggregation for Federated Learning

Beomyeol Jeon, S M Ferdous외 2명|arXiv (Cornell University)|2020. 12. 13.

Privacy-Preserving Technologies in Data참고 문헌 64인용 수 7

한 줄 요약

이 논문은 ADMM 기반 집계에서의 개인정보 泄露를 최소화하기 위해 조합적 그룹 통신 패턴을 사용하는 프라이버시 보장형 탈중앙화 피어 페어드 페더레이티드 러닝 프레임워크인 SecureD-FL을 제안한다. 복수의 균형 불완전 블록 설계(resolvable balanced incomplete block designs)를 통한 피어 상호작용의 구조화를 통해, 신뢰할 수 있는 그러나 호기심 많은 적대자에 대해 미세한 프라이버시를 보장하면서도 중심화된 FL에 비해 모델 정확도가 0.73% 이내로 유지된다. 이는 고비용의 히든 암호화나 노이즈 주입을 피한다.

ABSTRACT

Federated learning is a promising framework for learning over decentralized data spanning multiple regions. This approach avoids expensive central training data aggregation cost and can improve privacy because distributed sites do not have to reveal privacy-sensitive data. In this paper, we develop a privacy-preserving decentralized aggregation protocol for federated learning. We formulate the distributed aggregation protocol with the Alternating Direction Method of Multiplier (ADMM) and examine its privacy weakness. Unlike prior work that use Differential Privacy or homomorphic encryption for privacy, we develop a protocol that controls communication among participants in each round of aggregation to minimize privacy leakage. We establish its privacy guarantee against an honest-but-curious adversary. We also propose an efficient algorithm to construct such a communication pattern, inspired by combinatorial block design theory. Our secure aggregation protocol based on this novel group communication pattern design leads to an efficient algorithm for federated training with privacy guarantees. We evaluate our federated training algorithm on image classification and next-word prediction applications over benchmark datasets with 9 and 15 distributed sites. Evaluation results show that our algorithm performs comparably to the standard centralized federated learning method while preserving privacy; the degradation in test accuracy is only up to 0.73%.

연구 동기 및 목표

• 신뢰할 수 있는 그러나 호기심 많은 적대자에 의해 모델 파라미터가 악용될 수 있는 탈중앙화 페더레이티드 러닝에서의 프라이버시 泄露 문제를 해결하기 위해.
• 안전한 집계에서 신뢰할 수 있는 제3자나 계산 비용이 큰 히든 암호화에 의존하지 않기 위해.
• 수렴성과 모델 정확도를 유지하면서 정보 노출을 최소화하는 통신 패턴을 설계하기 위해.
• ADMM 반복에서 함께 그룹에 속한 참가자 간의 간격의 격차 기반으로 이론적 프라이버시 보장을 확립하기 위해.
• 조합 블록 설계 이론을 활용해 효율적이고 확장 가능한 무작위 알고리즘을 설계하여 안전한 통신 그룹을 생성하기 위해.

제안 방법

• 각 반복에서 상호작용을 상호 배제되는 피어 그룹으로 제한하는 프라이버시 인식 통신 패턴을 갖춘 ADMM 기반 페더레이티드 러닝을 수립한다.
• 두 기기 간에 같은 그룹에 속한 이후의 반복 수인 '간격(gap)'을 프라이버시 메트릭으로 도입하며, 간격이 클수록 프라이버시 수준이 높아진다.
• 안전한 그룹 형성 문제를 균형 불완전 블록 설계(BIBD)로 매핑하여 균일하고 프라이버시 보장된 피어 상호작용 패턴을 확보한다.
• 확장 가능한 9~15명의 피어까지 BIBD 준수 통신 그룹을 효율적으로 생성하는 무작위 알고리즘을 제안한다.
• 통신 오버헤드를 줄이기 위해 2회 반복로 조기 종료를 적용한 ADMM을 활용하며, 모델 성능을 유지한다.
• 이미지 및 언어 작업을 위한 전체 페더레이티드 러닝 파이프라인에 안전한 집계 프rotocol를 통합한다.

실험 결과

연구 질문

• RQ1 신뢰할 수 있는 그러나 호기심 많은 적대자에 의한 프라이버시 공격을 방지하기 위해, 차별화된 프라이버시나 히든 암호화에 의존하지 않고도 탈중앙화 페더레이티드 러닝 시스템이 모델 프라이버시를 유지할 수 있는가?
• RQ2 ADMM 기반 집계에서 정보 泄露를 최소화하기 위해 피어 간의 통신 패턴을 어떻게 설계할 수 있는가?
• RQ3 페더레이티드 러닝에서 그룹 상호작용 빈도와 프라이버시 泄露 사이의 이론적 관계는 무엇인가?
• RQ4 조합 설계 이론이 페더레이티드 러닝에서 안전하고 확장 가능한 피어 통신 패턴을 생성하는 데 효과적으로 적용될 수 있는가?
• RQ5 탈중앙화 학습에서 프라이버시(간격으로 측정)와 모델 정확도 사이의 상충 관계는 무엇인가?

주요 결과

• 기존의 ADMM 기반 집계 프로토콜은 데이터 전송 없이도 신뢰할 수 있는 그러나 호기심 많은 적대자에 의해 프라이버시 공격을 받을 수 있다.
• 제안된 SecureD-FL은 이미지 분류 및 다음 단어 예측 작업 모두에서 중심화된 페더레이티드 러닝에 비해 최대 0.73% 이내의 테스트 정확도를 달성한다.
• 단지 2회의 ADMM 반복만으로도 모델 정확도를 유지하여 통신 오버헤드를 줄이고 프라이버시를 보존한다.
• 무작위 그룹 구성 알고리즘이 최대 15명의 피어까지 유효한 통신 분할을 성공적으로 생성하였으며, 그룹 크기에 따라 성능이 확장된다.
• 간격 메트릭은 정량적 프라이버시 보장을 제공한다: 최소 간격 k는 최대 2k−1회의 반복 동안 보안을 보장한다.
• 신뢰할 수 있는 제3자, 히든 암호화, 노이즈 주입 없이도 강력한 프라이버시를 달성하여 경량이고 효율적인 대안을 제공한다.