[논문 리뷰] Practical and Bilateral Privacy-preserving Federated Learning

Yan Feng, Xue Yang외 3명|arXiv (Cornell University)|2020. 02. 23.

Privacy-Preserving Technologies in Data참고 문헌 25인용 수 11

한 줄 요약

이 논문은 원시 데이터와 모델 반복값/파라미터의 泄露를 모두 방지하는 최초의 양방향 프라이버시 보장 페더레이티드 러닝 기법을 제안한다. 효율적인 마스킹 기법을 사용해 글로벌 모델을 암호화하여 클라이언트들이 노이즈가 섞인 버전을 학습하게 하되, 정확한 업데이트된 모델 복원은 오직 서버만이 가능하게 한다. 이로써 최소한의 통신 오버헤드로 강력한 프라이버시를 확보하면서도 표준 페더레이티드 러닝과 유사한 정확도를 달성한다.

ABSTRACT

Federated learning, as an emerging distributed training model of neural networks without collecting raw data, has attracted widespread attention. However, almost all existing researches of federated learning only consider protecting the privacy of clients, but not preventing model iterates and final model parameters from leaking to untrusted clients and external attackers. In this paper, we present the first bilateral privacy-preserving federated learning scheme, which protects not only the raw training data of clients, but also model iterates during the training phase as well as final model parameters. Specifically, we present an efficient privacy-preserving technique to mask or encrypt the global model, which not only allows clients to train over the noisy global model, but also ensures only the server can obtain the exact updated model. Detailed security analysis shows that clients can access neither model iterates nor the final global model; meanwhile, the server cannot obtain raw training data of clients from additional information used for recovering the exact updated model. Finally, extensive experiments demonstrate the proposed scheme has comparable model accuracy with traditional federated learning without bringing much extra communication overhead.

연구 동기 및 목표

• 클라이언트 데이터의 프라이버시만 보장되는 페더레이티드 러닝의 격차를 메우기 위해, 모델 업데이트와 최종 파라미터까지 노출되지 않도록 보호한다.
• 신뢰할 수 없는 클라이언트와 외부 공격자가 학습 중에 민감한 모델 정보를 유추하지 못하도록 방지한다.
• 보조 정보를 사용해 모델 업데이트를 복원하는 과정에서 서버가 원시 클라이언트 데이터에 접근할 수 없도록 보장한다.
• 모델 정확도를 유지하면서도 최소한의 통신 및 계산 오버헤드를 추가하는 실용적인 기법을 설계한다.

제안 방법

• 페더레이티드 러닝 학습 중 글로벌 모델을 마스킹하거나 암호화하는 새로운 프라이버시 보장 기법을 제안한다.
• 클라이언트들이 정확한 모델 파라미터를 관찰하지 못하도록 노이즈가 섞인 글로벌 모델의 복제본을 학습하게 한다.
• 보조 정보를 사용해 오직 서버만이 정확한 업데이트된 모델을 복원할 수 있도록 보장한다.
• 암호화 기반 마스킹을 활용해 중간 또는 최종 모델 상태를 폭 lộ하지 않으면서도 안전하게 모델 업데이트를 계산할 수 있도록 한다.
• 표준 페더레이션 평균 프레임워크에 최소한의 수정으로 마스킹 메커니즘을 통합한다.
• 존재하는 페더레이티드 러닝 시스템과의 호환성을 유지하면서도 프라이버시 보장을 강화한다.

실험 결과

연구 질문

• RQ1 페더레이티드 러닝 시스템이 클라이언트 데이터와 모델 파라미터를 클라이언트 및 외부 공격자로부터 동시에 보호할 수 있는가?
• RQ2 신뢰할 수 없는 클라이언트가 모델 반복값과 최종 모델 가중치를 유추하지 못하도록 하면서도 학습 정확도를 손상시키지 않을 수 있는가?
• RQ3 데이터 외에 모델 정보까지 보호하기 위한 통신 및 계산 오버헤드는 얼마나 되는가?
• RQ4 보조 정보를 사용해 정확한 모델 업데이트를 복원하는 데 서버가 원시 클라이언트 데이터를 유추하지 못할 수 있는가?

주요 결과

• 제안된 기법은 표준 페더레이티드 러닝과 유사한 모델 정확도를 달성하며, 성능 저하가 심각하지 않다.
• 프라이버시 보장 메커니즘이 유도하는 통신 오버헤드는 매우 미미하며 기준 페더레이티드 러닝과 유사하다.
• 클라이언트는 모델 반복값이나 최종 글로벌 모델에 접근할 수 없으며, 오직 마스킹된 모델 복제본만을 수신한다.
• 보조 정보를 사용해 정확한 모델 업데이트를 복원하는 과정에서 서버가 원시 학습 데이터를 추론하지 못한다.
• 보안 분석 결과, 신뢰할 수 없는 당사자로부터 클라이언트 데이터와 모델 파라미터가 泄露되지 않음을 확인했다.