[논문 리뷰] Federated Learning: Opportunities and Challenges

Priyanka Mary Mammen|arXiv (Cornell University)|2021. 01. 14.

Privacy-Preserving Technologies in Data참고 문헌 35인용 수 144

한 줄 요약

연합학습은 원시 데이터를 공유하지 않고도 협업 ML을 가능하게 하지만, 학습, 프라이버시, 보안 문제에 직면한다; 본 논문은 아키텍처, 응용, 방어책 및 최근 발전을 조사한다.

ABSTRACT

Federated Learning (FL) is a concept first introduced by Google in 2016, in which multiple devices collaboratively learn a machine learning model without sharing their private data under the supervision of a central server. This offers ample opportunities in critical domains such as healthcare, finance etc, where it is risky to share private user information to other organisations or devices. While FL appears to be a promising Machine Learning (ML) technique to keep the local data private, it is also vulnerable to attacks like other ML models. Given the growing interest in the FL domain, this report discusses the opportunities and challenges in federated learning.

연구 동기 및 목표

• 민감한 도메인에서 프라이버시 보호 협업 학습 패러다임으로서 연합학습의 필요성을 제시한다.
• FL 아키텍처, 유형 및 응용에 대한 구조화된 개요를 제공한다.
• FL 시스템의 학습 병목 현상과 이질성 문제를 식별한다.
• FL에서의 프라이버시 및 보안 위협과 방어책을 조사한다.
• FL의 최근 발전과 향후 연구 방향을 조명한다.

제안 방법

• 주요 FL 아키텍처 및 범주(수직, 수평, 전이, 크로스-사일로, 크로스-디바이스)에 대한 문헌 조사.
• 의사소통 오버헤드 및 데이터/시스템 이질성 등 학습 병목 현상에 대한 논의(FedAvg 및 대안).
• 멤버십 추론, 데이터 포이즈닝, 모델 포이즈닝, 백도어 공격 등을 포함한 프라이버시 및 보안 위협과 방어책(보안 연산, 차등 프라이버시, 신뢰 실행 환경)의 분석.
• 최근 FL 발전(원샷 FL, 인센티브 메커니즘, FL as a service, 비동기 FL, 블록체인 기반 FL)의 검토.
• 의료, 교통, 금융 및 NLP에서의 FL 응용 예시.

실험 결과

연구 질문

• RQ1 주요 FL 아키텍처는 무엇이며 데이터 분포 및 참여 차이점은 무엇인가?
• RQ2 FL에서의 주요 학습, 프라이버시, 보안 도전과제는 무엇이며 어떤 방어책이 존재하거나 제안되었는가?
• RQ3 FL이 유용한 주요 응용 도메인은 어디이며 어떤 예시가 가능성을 보여주는가?
• RQ4 FL의 확장성, 인센티브, 프라이버시 문제를 다룰 수 있는 새로운 발전 및 방향은 무엇인가?

주요 결과

• 연합학습은 민간 데이터를 교환하지 않고 협업 모델 학습을 가능하게 하며, 의료, 교통, 금융, NLP 전반에 잠재력이 있다.
• FL의 학습은 통신 오버헤드와 디바이스 및 데이터의 이질성으로 인해 도전에 직면하며, 새로운 집계 및 효율성 기법이 필요하다.
• FL은 멤버십 추론, 데이터 포이즈닝, 모델 포이즈닝, 백도어 공격 등 다양한 공격에 취약하며, 보안 연산, 차등 프라이버시, 신뢰 실행 환경과 같은 방어책을 촉진한다.
• 방어책은 종종 모델 정확도를 감소시키거나 계산 오버헤드를 증가시키며, 프라이버시·보안·성능의 균형은 아직 해결되지 않은 문제이다.
• 최근 발전에는 원샷 및 디스틸드 원샷 FL, 인센티브 메커니즘, FL as a service, 비동기 FL, 블록체인 기반 FL 프레임워크가 포함된다.