[논문 리뷰] SoK: Training Machine Learning Models over Multiple Sources with Privacy Preservation

Lushan Song, Lin, Guopeng외 4명|arXiv (Cornell University)|2020. 12. 06.

Privacy-Preserving Technologies in Data참고 문헌 108인용 수 7

한 줄 요약

이 논문은 다수의 데이터 소스에 걸쳐 기밀 보장 기반 기계학습을 수행하는 데 초점을 맞춘 종합적인 설문 조사로, 연합 학습(FL)과 보안 다자간 학습(MPL)을 다룬다. 두 접근 방식을 보안, 효율성, 데이터 분포, 모델 정확도, 응용 시나리오 측면에서 평가하며, 동적 확장성, 복잡한 모델 지원, 강력한 위협 모델 등 주요 과제와 향후 연구 방향을 규명한다.

ABSTRACT

Nowadays, gathering high-quality training data from multiple data sources with privacy preservation is a crucial challenge to training high-performance machine learning models. The potential solutions could break the barriers among isolated data corpus, and consequently enlarge the range of data available for processing. To this end, both academic researchers and industrial vendors are recently strongly motivated to propose two main-stream folders of solutions mainly based on software constructions: 1) Secure Multi-party Learning (MPL for short); and 2) Federated Learning (FL for short). The above two technical folders have their advantages and limitations when we evaluate them according to the following five criteria: security, efficiency, data distribution, the accuracy of trained models, and application scenarios. Motivated to demonstrate the research progress and discuss the insights on the future directions, we thoroughly investigate these protocols and frameworks of both MPL and FL. At first, we define the problem of Training machine learning Models over Multiple data sources with Privacy Preservation (TMMPP for short). Then, we compare the recent studies of TMMPP from the aspects of the technical routes, the number of parties supported, data partitioning, threat model, and machine learning models supported, to show their advantages and limitations. Next, we investigate and evaluate five popular FL platforms. Finally, we discuss the potential directions to resolve the problem of TMMPP in the future.

연구 동기 및 목표

• 직접적인 데이터 공유 없이 분산된 기밀 민감성 데이터 소스 간에 고성능 기계학습 모델을 훈련시키는 데 도전하는 문제를 해결하기 위해.
• 보안, 효율성, 데이터 분포, 모델 정확도, 응용 적합성 기준으로 두 주요 기술적 접근 방식인 연합 학습(FL)과 보안 다자간 학습(MPL)을 비교 및 평가하기 위해.
• 현재 FL 및 MPL 프레임워크의 한계를 규명하기 위해, 약한 위협 모델, 액세스 제어 부족, 비IIDs 데이터 및 복잡한 모델에 대한 낮은 지원도 포함하여.
• 기밀 보장 기반 기계학습을 향상시키기 위한 향후 연구 방향을 제안하고 분석하기 위해, 동적 확장성, 시스템 이질성 내성, 고급 모델 지원 등이 포함된다.

제안 방법

• 기밀 보장 기반 기계학습 모델 훈련 문제를 다수의 소스에서 다루는 통합 연구 과제로 정의하기 위해.
• 기술적 길, 지원하는 파티 수, 데이터 분할 방식, 위협 모델, 호환 가능한 기계학습 모델 기준으로 기존 MPL 및 FL 솔루션을 분류하고 비교하기 위해.
• 다섯 가지 주요 FL 플랫폼을 평가하여 실제 환경에서의 성능 및 한계를 분석하기 위해.
• MPL의 기초가 되는 암호 기법, 즉 비밀 분할, 요아르의 가짜 회로, SPDZ 프로토콜 등을 분석하여 안전한 계산을 위한 기반 확보하기 위해.
• FL에서 서버 보안을 향상시키기 위해 보안 집계 및 MAC 기반 검증의 통합을 제안하기 위해.
• MPL 프레임워크에서 액세스 제어 및 동적 확장성을 가능하게 하기 위해 셰미어의 비밀 분할 기법의 활용 탐색하기 위해.

실험 결과

연구 질문

• RQ1 FL과 MPL은 보안, 효율성, 실제 데이터 분포 지원 측면에서 어떻게 비교될 수 있는가?
• RQ2 현재 FL 및 MPL 프레임워크는 비IIDs 데이터, 시스템 이질성, 동적 참여 파티 처리 측면에서 어떤 핵심 한계를 지니는가?
• RQ3 기밀 보장 기반 훈련에서 전역 모델을 얻을 수 있는 권한이 있는 파티만 액세스 제어를 어떻게 시행할 수 있는가?
• RQ4 MPL 및 FL의 효율성과 확장성을 향상시키기 위해 암호 기법 및 시스템 수준 최적화는 무엇이 가능한가?
• RQ5 실제 적용이 가능하고, 안전하며, 확장 가능한 다수의 소스 기반 기계학습을 가능하게 하기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• FL은 원시 데이터가 아닌 모델 업데이트를 전송하기 때문에 MPL보다 일반적으로 통신 및 계산 오버헤드가 낮다.
• MPL은 악성 공격자에 대한 강력한 보안 보장을 제공하며, 정당 다수 가정 하에 기능할 수 있지만, 높은 통신 및 계산 비용을 겪는다.
• 대부분의 FL 프레임워크는 반신뢰성 또는 신뢰성 있는 서버를 가정하고 있어, 악성 서버의 위협에 대해 거의 다루지 못한다.
• 현재 프레임워크는 동적 참여 파티 지원이 부족하여, 신뢰성 떨어지거나 변동성이 큰 연결 환경에서 취약하다.
• 비IIDs 데이터는 FL 성능을 크게 떨어뜨리지만, 메타학습 및 다중 작업 학습 기법을 통해 이 문제를 완화할 수 있다.
• LSTM 및 결정 트리와 같은 복잡한 모델에 대한 지원은 FL 및 MPL 프레임워크 모두에서 아직 제한되어 있어, 핵심 열린 과제로 남아 있다.