[논문 리뷰] Federated Learning Systems: Vision, Hype and Reality for Data Privacy and Protection

Qinbin Li, Zeyi Wen외 1명|arXiv (Cornell University)|2019. 07. 23.

Privacy-Preserving Technologies in Data참고 문헌 14인용 수 76

한 줄 요약

이 논문은 데이터 분할, 모델 유형, 프라이버시 메커니즘, 통신 아키텍처, 규모, 연합 학습 동기화의 여섯 가지 핵심 설계 차원을 규명함으로써 연합 학습 시스템을 위한 종합적인 프레임워크를 제안한다. 이와 함께 이질성과 자율성의 부족한 평가를 지적한다. 기존 시스템에 대한 체계적인 분류 및 비교를 통해 확장성, 효율성, 현실성 있는 가정의 부족함을 드러내며, 프라이버시 보장 협업 기계학습을 위한 향후 연구 방향을 제시한다.

ABSTRACT

Federated learning has been a hot research area in enabling the collaborative training of machine learning models among different organizations under the privacy restrictions. As researchers try to support more machine learning models with different privacy-preserving approaches, there is a requirement in developing systems and infrastructures to ease the development of various federated learning algorithms. Just like deep learning systems such as Caffe, PyTorch, and Tensorflow that boost the development of deep learning algorithms, federated learning systems are equivalently important, and face challenges from various issues such as unpractical system assumptions, scalability and efficiency. Inspired by federated systems in other fields such as databases and cloud computing, we investigate the existing characteristics of federated learning systems. We find that two important features for federated systems in other fields, i.e., heterogeneity and autonomy, are rarely considered in the existing federated learning systems. Moreover, we provide a thorough categorization for federated learning systems according to six different aspects, including data partition, machine learning model, privacy mechanism, communication architecture, scale of federation and motivation of federation. The categorization can help the design of federated learning systems as shown in our case studies. Lastly, we take a systematic comparison among the existing federated learning systems and present future research opportunities and directions.

연구 동기 및 목표

• 실제 세계의 제약 조건을 반영하는 강력하고 확장 가능하며 프라이버시를 고려한 시스템이 부족한 데 대응하기 위해.
• 데이터베이스 및 클라우드 컴퓨팅 시스템의 사례에서 유추해, 연합 학습 시스템에서 간과된 이질성과 자율성의 중요성을 규명하고 강조하기 위해.
• 시스템 설계를 안내하기 위해 여섯 가지 핵심 차원에 따라 연합 학습 시스템을 체계적으로 분류하기 위해.
• 기존 연합 학습 시스템을 체계적으로 비교하여 현재의 가정과 구현 방식의 한계를 드러내기 위해.
• 실제 구현에까지 이르는 연합 학습 시스템의 향후 연구 방향을 제시하기 위해.

제안 방법

• 저자는 여섯 가지 차원—데이터 분할, 기계학습 모델, 프라이버시 메커니즘, 통신 아키텍처, 연합 규모, 연합 동기화—에 따라 기존 연합 학습 시스템을 평가함으로써 비교 분석을 수행한다.
• 데이터베이스 및 클라우드 컴퓨팅 분야의 기존 시스템과 유사한 사례를 제시함으로써, 이 분야에서 핵심적인 기능으로 간주되는 이질성과 자율성이 현재 연합 학습 시스템에서 부족하게 활용되고 있음을 강조한다.
• 여섯 가지 차원에 기반해 연합 학습 시스템을 분류할 수 있는 체계적인 분류 프레임워크를 도입함으로써, 더 명확한 설계 지침을 제공한다.
• 사례 연구를 통해 이 분류 프레임워크가 더 효과적이고 현실적인 연합 학습 시스템 설계에 어떻게 기여할 수 있는지 보여준다.
• 기존 시스템 간의 비교 평가를 수행하여 시스템 가정, 확장성, 효율성 측면에서의 결함을 규명한다.
• 통합된 통찰을 바탕으로 향후 연구 기회를 정리하며, 특히 시스템의 현실성, 프라이버시 보장 수준, 상호운용성 향상에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 기존 연합 학습 시스템은 시스템의 이질성과 조직의 자율성을 어떻게 다루며, 이러한 요소들이 왜 간과되고 있는가?
• RQ2 연합 학습 시스템을 구분짓는 데 핵심이 되는 아키텍처적 및 설계적 차원은 무엇이며, 이를 어떻게 체계적으로 분류할 수 있는가?
• RQ3 현재의 연합 학습 시스템은 확장성, 통신 효율성, 프라이버시 제약 조건 측면에서 실제 구현 환경을 어느 정도 반영하고 있는가?
• RQ4 데이터베이스 및 클라우드 컴퓨팅 시스템의 통찰은 연합 학습 플랫폼 설계에 어떻게 기여할 수 있는가?
• RQ5 연합 학습 시스템의 가장 시급한 열린 과제와 향후 연구 방향은 무엇인가?

주요 결과

• 기존 연합 학습 시스템은 일반적으로 클라이언트가 동일하고 중앙 집중식 조율 방식을 채택한다는 너무 단순하거나 현실성 없는 가정에 의존하여 실제 적용 가능성이 제한된다.
• 데이터, 모델, 시스템 자원의 이질성과 참여 조직의 자율성은 현재 연합 학습 시스템에서 핵심이지만 여전히 탐색되지 않은 요소들이다.
• 제안된 여섯 차원 분류 프레임워크는 기존 연합 학습 시스템 간의 이해와 비교를 명확히 하며, 더 나은 시스템 설계를 지원한다.
• 기존 시스템에 대한 체계적 비교를 통해 확장성, 통신 효율성, 프라이버시 메커니즘 통합 측면에서 심각한 격차가 드러났다.
• 향후 연구는 현실적이고 탈중앙화되며 이질적인 연합 환경을 지원하고 강력한 프라이버시 보장을 제공하는 시스템 구축을 우선시해야 한다.
• 본 연구는 파이토치와 텐서플로우와 같은 딥러닝 프레임워크의 성숙도를 반영한 새로운 시스템 추상화 및 인프라가 명백히 필요하다는 점을 규명했다.