[논문 리뷰] EIFFeL: Ensuring Integrity for Federated Learning

Amrita Roy Chowdhury, Chuan Guo외 2명|arXiv (Cornell University)|2021. 12. 23.

Privacy-Preserving Technologies in Data인용 수 12

한 줄 요약

EIFFeL은 기밀 유지된 검증을 통해 비밀 유지된 업데이트의 무결성을 보장하면서 페더레이티드 러닝 업데이트를 안전하게 집계할 수 있는 새로운 프레임워크이다. 비밀 공유 비인증 증명(SNIP)과 암호학적 최적화를 사용하여 원시 데이터를暴露하지 않고 악성 업데이트를 탐지하고 제거하며, MNIST에서 100명의 클라이언트와 10%의 오염을 가정할 때 훈련 반복당 2.4초의 성능을 달성한다.

ABSTRACT

Federated learning (FL) enables clients to collaborate with a server to train a machine learning model. To ensure privacy, the server performs secure aggregation of updates from the clients. Unfortunately, this prevents verification of the well-formedness (integrity) of the updates as the updates are masked. Consequently, malformed updates designed to poison the model can be injected without detection. In this paper, we formalize the problem of ensuring extit{both} update privacy and integrity in FL and present a new system, extsf{EIFFeL}, that enables secure aggregation of extit{verified} updates. extsf{EIFFeL} is a general framework that can enforce extit{arbitrary} integrity checks and remove malformed updates from the aggregate, without violating privacy. Our empirical evaluation demonstrates the practicality of extsf{EIFFeL}. For instance, with $100$ clients and $10\%$ poisoning, extsf{EIFFeL} can train an MNIST classification model to the same accuracy as that of a non-poisoned federated learner in just $2.4s$ per iteration.

연구 동기 및 목표

• 보안 집계가 업데이트를 은폐하는 페더레이티드 러닝에서 기밀성과 무결성을 동시에 확보하는 데 도전하는 데 초점을 맞춘다.
• 원시 데이터를 폭 드러내지 않고도 업데이트의 무결성을 검증할 수 있는 새로운 프로토콜인 SAVI(Secure Aggregation of Verified Inputs)를 체계화한다.
• 임의의 무결성 검증을 산술 회로로 표현할 수 있도록 설계된 일반 목적의 시스템을 설계하여 다양한 강력한 머신러닝 방어 기법과의 통합을 가능하게 한다.
• 저지연성과 고확장성을 확보하기 위해 암호학적 프로토콜을 최적화하여 실제 페더레이티드 러닝 환경에서 실용적인 성능을 달성한다.
• 부정행위 서버 위협 모델을 지원하면서도 서비스 거부 공격을 방지하고, 유효한 형식을 가진 업데이트만 집계되도록 보장한다.

제안 방법

• EIFFeL은 클라이언트가 마스킹된 업데이트의 정확성을 비밀 공유 기반 비인증 증명(SNIP)을 통해 암호학적으로 증명할 수 있도록 하여 원시 값을 폭 드러내지 않는다.
• 검증 가능한 비밀 공유와 영지식 증명을 사용하여 서버가 업데이트의 무결성을 확인할 수 있지만 실제 값을 알 수 없도록 한다.
• 공개 매개변수를 가진 산술 회로로 표현 가능한 임의의 무결성 검증을 지원하여 기존의 강력한 학습 방법과의 탄력적 통합을 가능하게 한다.
• SNIP을 악성 위협 모델로 확장하기 위해 아키텍처적 및 암호학적 개선을 도입하여 악성 행동에 대한 강건성을 확보한다.
• 통신 및 계산 오버헤드를 줄이기 위해 성능 최적화를 구현하여 최소 2.3배의 효율 향상을 달성한다.
• 집계 과정에서 형식이 잘못된 업데이트를 동적으로 제거하여 글로벌 모델에 영향을 주지 않도록 한다.

실험 결과

연구 질문

• RQ1 기밀성을 훼손하지 않고도 페더레이티드 러닝에서 클라이언트 업데이트의 무결성을 어떻게 검증할 수 있는가?
• RQ2 원시 데이터를 폭 드러내지 않고도 악성 업데이트를 탐지하고 제거할 수 있는 보안 집계 프로토콜을 설계할 수 있는가?
• RQ3 무결성 검증된 페더레이티드 러닝에서 실용적인 성능을 달성하는 데 필요한 암호학적 원형 및 시스템 최적화는 무엇인가?
• RQ4 무결성 검증을 기반으로 한 임의의 검증(예: 노름 범위, 통계적 이질성)을 기밀 유지 방식으로 어떻게 지원할 수 있는가?
• RQ5 시스템은 악성 서버에 저항하고 검증 과정에서 서비스 거부 공격을 방지할 수 있는가?

주요 결과

• EIFFeL은 MNIST 데이터셋에서 100명의 클라이언트와 10%의 오염 조건 하에서도 훈련 반복당 단 2.4초의 시간을 기록하며, 비오염된 페더레이티드 러닝 학습자와 동일한 정확도를 달성한다.
• 시스템은 산술 회로를 통한 임의의 무결성 검증을 지원하여 다양한 강력한 머신러닝 방어 기법과의 통합을 가능하게 한다.
• EIFFeL의 최적화 기법은 기존의 SNIP 기반 접근 방식 대비 최소 2.3배의 성능 향상을 달성한다.
• 원시 업데이트를 서버가 관찰하지 않더라도 형식이 잘못된 업데이트를 성공적으로 제거하여 기밀성을 유지한다.
• 시스템은 악성 서버에 저항하며, 잘못된 입력을 격리하고 폐기하여 서비스 거부 공격을 방지한다.
• 기능성과 위협 모델 커버리지 면에서 이전 연구를 능가하며, 임의의 검증, 악성 서버 지원, 동적 업데이트 제거를 모두 지원한다.