[논문 리뷰] Fedlearn-Algo: A flexible open-source privacy-preserving machine learning platform

Bo Liu, Chaowei Tan외 8명|arXiv (Cornell University)|2021. 07. 08.

Privacy-Preserving Technologies in Data참고 문헌 17인용 수 12

한 줄 요약

Fedlearn-Algo는 수평적으로 분할된 데이터를 가진 당사자들 간에 효율적이고 안전한 모델 훈련을 가능하게 하는 오픈소스로, 개인정보 보호 기능을 갖춘 수직 연합 학습 알고리즘—수직 연합 커널 이진 분류 및 수직 연합 랜덤 포레스트—를 도입한 플랫폼이다. 동일한 데이터 전송 인터페이스를 통해 히든 데이터를 보호하는 히든 암호화 기반의 통신 모듈을 함께 제공하며, 실제 운영 환경에서 기존 수직 FL 모델 대비 향상된 효율성을 입증하였다.

ABSTRACT

In this paper, we present Fedlearn-Algo, an open-source privacy preserving machine learning platform. We use this platform to demonstrate our research and development results on privacy preserving machine learning algorithms. As the first batch of novel FL algorithm examples, we release vertical federated kernel binary classification model and vertical federated random forest model. They have been tested to be more efficient than existing vertical federated learning models in our practice. Besides the novel FL algorithm examples, we also release a machine communication module. The uniform data transfer interface supports transferring widely used data formats between machines. We will maintain this platform by adding more functional modules and algorithm examples. The code is available at https://github.com/fedlearnAI/fedlearn-algo.

연구 동기 및 목표

• 크로스 파티 연합 학습에서의 데이터 프라이버시, 통신 비용, 알고리즘 성능 문제를 해결하기 위해.
• 실제 기업 및 정부 응용 분야에 적합한 실용적 구현을 위한 효율적인 수직 연합 학습 알고리즘 개발 및 공개를 위해.
• 새로운 알고리즘과 표준 개인정보 보호 기반 기계학습 알고리즘을 지원하는 유연하고 확장 가능한 오픈소스 플랫폼 제공을 위해.
• 다중 머신 학습 환경에서의 통신 병목 현상을 줄이기 위해 통일된, 기술에 종속되지 않는 데이터 전송 인터페이스와 최적화된 프로토콜 설계를 위해.
• 히든 암호화와 모듈화된 통신 구성 요소를 통합하여 안전하고 확장 가능하며 상호운용성이 높은 연합 학습을 실현하기 위해.

제안 방법

• 수직 연합 의사결정수 트리에서의 개인정보 보존적 특성 분할을 위해, 암호화된 레이블을 기반으로 레이블 통계치를 안전하게 계산하기 위해 히든 암호화를 사용한다.
• 다양하게 사용되는 데이터 포맷을 지원하는 통일된 데이터 전송 인터페이스를 도입하여, 연합 환경 내에서 기계 간의 원활한 통신을 가능하게 한다.
• 가로로 분할된 데이터에서 비선형 결정 경계를 처리하기 위해 커널 방법을 활용한 수직 연합 커널 이진 분류 모델을 도입한다.
• 각 피벗 당사자가 특성 파art에 기반해 암호화된 레이블 분위수 통계치를 계산하고, 주도 당사자가 최적의 분할을 선정하는 방식의 수직 연합 랜덤 포레스트 모델을 개발한다.
• 통신, 암호화, 알고리즘 구현을 위한 모듈화된 구성 요소를 포함한 확장 가능한 플랫폼 아키텍처를 설계하여 텐서플로우, 파이토치, 사이킷런과의 통합을 지원한다.
• 해독된 레이블 통계치로부터 계산된 최대 정보 이득 기반의 트리 분할 전략을 적용하여, 개인정보 보호를 유지하면서도 모델 성능을 확보한다.

실험 결과

연구 질문

• RQ1 실제 운영 환경에서 기존 접근 방식보다 더 효율적인 수직 연합 학습 모델을 설계할 수 있는가?
• RQ2 히든 암호화는 분산된 당사자 간에 안전하고 개인정보 보호 기반의 레이블 통계치 계산을 어떻게 가능하게 하는가?
• RQ3 통일되고 확장 가능한 통신 인터페이스는 다중 머신 연합 학습 시스템에서의 구현 복잡성을 어떻게 줄일 수 있는가?
• RQ4 커널 기반 및 랜덤 포레스트 모델과 같은 새로운 수직 FL 알고리즘은 기존 모델 대비 훈련 효율성과 정확도 측면에서 뛰어나다고 할 수 있는가?
• RQ5 모듈화된 오픈소스 플랫폼은 개인정보 보호 기반 기계학습 분야의 연구 및 개발을 어떻게 가속화할 수 있는가?

주요 결과

• Fedlearn-Algo에 포함된 수직 연합 커널 이진 분류 및 랜덤 포레스트 모델은 실제 운영 환경에서 기존 수직 FL 모델보다 높은 효율성을 보였다.
• 히든 암호화의 적용을 통해 원본 레이블을 폭 드러내지 않은 채로 레이블 통계치 계산이 가능해져, 모델 훈련 중 데이터 프라이버시를 유지할 수 있었다.
• 통일된 데이터 전송 인터페이스는 다양한 공통 데이터 포맷을 지원하여 통합 오버헤드를 감소시키고, 다양한 머신 러닝 도구 간의 상호운용성을 향상시켰다.
• 플랫폼의 모듈화된 아키텍처는 비동기 및 탈중앙화된 토폴로지와 같은 새로운 알고리즘 및 통신 프로토콜의 간편한 확장 가능성을 제공한다.
• SMPC, 차별적 프라이버시, 지식 정제 기법 등 표준 개인정보 보호 기법의 향후 통합을 지원한다.
• 플랫폼는 기업 및 정부 응용 분야에서 민감한 데이터를 다수의 당사자 간에 처리하는 데에 적합한 프로덕션 준비 상태로 설계되었다.