[논문 리뷰] Threats to Federated Learning: A Survey

Lingjuan Lyu, Han Yu외 1명|arXiv (Cornell University)|2020. 03. 04.

Privacy-Preserving Technologies in Data참고 문헌 43인용 수 234

한 줄 요약

이 설문은 연합학습의 위협 모델을 검토하며, 내부자에 의한 오염 및 추론 공격에 초점을 두고 방어 방향과 연구 격차를 논의한다.

ABSTRACT

With the emergence of data silos and popular privacy awareness, the traditional centralized approach of training artificial intelligence (AI) models is facing strong challenges. Federated learning (FL) has recently emerged as a promising solution under this new reality. Existing FL protocol design has been shown to exhibit vulnerabilities which can be exploited by adversaries both within and without the system to compromise data privacy. It is thus of paramount importance to make FL system designers to be aware of the implications of future FL algorithm design on privacy-preservation. Currently, there is no survey on this topic. In this paper, we bridge this important gap in FL literature. By providing a concise introduction to the concept of FL, and a unique taxonomy covering threat models and two major attacks on FL: 1) poisoning attacks and 2) inference attacks, this paper provides an accessible review of this important topic. We highlight the intuitions, key techniques as well as fundamental assumptions adopted by various attacks, and discuss promising future research directions towards more robust privacy preservation in FL.

연구 동기 및 목표

• 데이터 격리와 프라이버시 우려가 존재하는 상황에서 연합 학습과 그 프라이버시 함의 를 소개한다.
• FL 위협 모델을 분류하고 내부자 공격을 주된 초점으로 식별한다.
• 오염 공격과 추론 공격을 조사하며, 그 직관, 기법, 가정을 포함한다.
• 강건한 프라이버시 보존 연합 학습 솔루션을 위한 유망한 향후 연구 방향을 논의한다.

제안 방법

• 위협 구도를 제시하기 위해 FL 유형(HFL, VFL, FTL)과 참여자 역할(H2B, H2C)의 분류를 제공한다.
• 데이터 및 모델 오염 공격과 다양한 FL 설정에서의 효과를 요약한다.
• 그래디언트에 대한 추론 공격을 설명하며, 클래스 대표자, 멤버십, 속성 및 훈련 입력/레이블 누출을 포함한다.
• 차등 프라이버시와 적대적 학습을 포함한 방어 기법과 한계를 논의하고, 열린 연구 방향을 개략한다.

실험 결과

연구 질문

• RQ1 연합 학습에서 주요 내부자 위협 모델은 무엇이며, 이들이 외부자 위협과 어떻게 다른가?
• RQ2 오염 공격 및 추론 공격 기법은 FL을 어떻게 위협하며, 어떤 FL 시나리오(H2B, H2C, VFL, FTL)에서 가장 효과적인가?
• RQ3 FL 위협에 대해 어떤 방어가 존재하며, 현실 세계의 비 IID 및 이질적 환경에서의 한계는 무엇인가?
• RQ4 연합 학습의 강건성과 프라이버시를 강화할 수 있는 향후 연구 방향은 무엇인가?
• RQ5 다양한 FL 아키텍처와 배치 시나리오는 공격 표면과 방어 전략에 어떤 영향을 미치는가?

주요 결과

• FL에 대한 내부자 공격은 시스템 상태에 대한 더 큰 접근으로 인해 일반적으로 외부자의 공격보다 더 강하고 우려된다.
• 데이터 오염과 모델 오염은 FL 모델을 저하시키거나 장악할 수 있으며, 모델 오염은 은밀한 백도어를 도입할 수 있다.
• 추론 공격은 그래디언트에서 개인 정보를 누출할 수 있으며, 여기에 클래스 대표자, 멤버십, 속성, 훈련 입력/레이블이 포함되며, 특히 학습 단계 공격에서 그렇다.
• 그래디언트로부터의 심층 누출과 같은 고급 공격은 소수의 반복으로 훈련 입력과 레이블을 복구할 수 있어 그래디언트 누출 위험을 강조한다.
• 차등 프라이버시와 적대적 학습과 같은 방어는 프라이버시, 정확도 및 실용성 간의 트레이드오프에 직면하며, 특히 비 IID 및 낮은 참여자 시나리오에서 그렇다.