[논문 리뷰] Federated Machine Learning: Concept and Applications

Qiang Yang, Yang Liu외 2명|arXiv (Cornell University)|2019. 02. 13.

Privacy-Preserving Technologies in Data참고 문헌 73인용 수 607

한 줄 요약

연합학습을 정의하고, 수평(horizontal), 수직(vertical), 및 연합 전이 학습을 분류하며, 데이터 누출 없이 협업 모델링을 위한 프라이버시 보호 기술과 아키텍처를 검토하는 설문조사.

ABSTRACT

Today's AI still faces two major challenges. One is that in most industries, data exists in the form of isolated islands. The other is the strengthening of data privacy and security. We propose a possible solution to these challenges: secure federated learning. Beyond the federated learning framework first proposed by Google in 2016, we introduce a comprehensive secure federated learning framework, which includes horizontal federated learning, vertical federated learning and federated transfer learning. We provide definitions, architectures and applications for the federated learning framework, and provide a comprehensive survey of existing works on this subject. In addition, we propose building data networks among organizations based on federated mechanisms as an effective solution to allow knowledge to be shared without compromising user privacy.

연구 동기 및 목표

• 산업 전반의 AI 개발을 방해하는 데이터 단편화 및 프라이버시 우려를 동기화하고 해결한다.
• Federated Learning의 정의를 제시하고 프라이버시보호 분산 협업과의 연관성을 설명한다.
• Architectural illustrations를 포함하여 수평, 수직, 및 연합 전이 학습으로 연합학습을 분류한다.
• 보안 프레임워크, 프라이버시 기술, 그리고 조직 간 데이터 협업의 잠재적 유인을 조사한다.

제안 방법

• Federated learning에 대한 형식적 정의와 정확도 손실 지표(delta-accuracy)를 제시한다.
• 학습 중 데이터 보호를 위한 secure multi-party computation, differential privacy, and homomorphic encryption를 포함한 보안 모델을 설명한다.
• 데이터 분포에 따라 horizontal, vertical, 및 federated transfer learning으로 연합학습을 분류하고 적용 가능한 아키텍처 및 보안 가정을 제시한다.
• secure aggregation 및 엔터티 정렬 단계를 포함한 horizontal 및 vertical federated learning의 아키텍처 워크플로를 제시한다.
• 연합 시스템에서 공정한 참여 및 데이터 기여를 촉진하기 위한 인센티브 및 블록체인에서 영감을 받은 아이디어를 논의한다.

실험 결과

연구 질문

• RQ1 Federated Learning이 무엇인지, 프라이버시를 보호하는 분산 학습을 포괄하도록 정의할 수 있는가?
• RQ2 수평, 수직, 및 federated transfer learning은 데이터 분포 및 보안 요구사항에서 어떻게 차이가 있는가?
• RQ3 효과적이고 프라이바시한 협업 학습을 가능하게 하는 아키텍처와 보안 메커니즘은 무엇인가?
• RQ4 연합 학습 생태계에서 참여와 데이터 공유를 촉진하기 위한 실용적인 인센티브 구조는 무엇인가?

주요 결과

• Federated learning은 데이터 소유자들이 데이터를 노출하지 않으면서도 협력적인 모델 학습을 가능하게 한다.
• Horizontal, vertical, and federated transfer learning은 서로 다른 데이터 분할 시나리오에 대응하는 보안 정의를 다룬다.
• Secure aggregation, differential privacy, and homomorphic encryption은 학습 중 중간 결과와 데이터를 보호하는 핵심 기술이다.
• Vertical federated learning은 엔터티 정렬 및 때로는 신뢰할 수 있는 제3자를 필요로 하여 암호화된 그래디언트 및 손실 계산을 가능하게 한다.
• Federated transfer learning은 공통 표현을 사용하는 비중첩(feature) 및 샘플 공간으로 협업을 확장한다.
• 인센티브 메커니즘과 블록체인 기반 기록은 연합 플랫폼의 공정한 기여와 지속 가능성을 지원할 수 있다.