[논문 리뷰] PyVertical: A Vertical Federated Learning Framework for Multi-headed SplitNN

D. Romanini, Adam James Hall외 7명|arXiv (Cornell University)|2021. 04. 01.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 61

한 줄 요약

PyVertical은 소유자 간 데이터를 정렬하기 위해 SplitNN과 프라이빗 세트 차집합(PSI)을 사용하여 수직 연합학습을 가능하게 하는 오픈 소스 프레임워크이며, 이중 헤드 MNIST 설정으로 시연됩니다.

ABSTRACT

We introduce PyVertical, a framework supporting vertical federated learning using split neural networks. The proposed framework allows a data scientist to train neural networks on data features vertically partitioned across multiple owners while keeping raw data on an owner's device. To link entities shared across different datasets' partitions, we use Private Set Intersection on IDs associated with data points. To demonstrate the validity of the proposed framework, we present the training of a simple dual-headed split neural network for a MNIST classification task, with data samples vertically distributed across two data owners and a data scientist.

연구 동기 및 목표

• 원시 데이터를 공유하지 않고 수직으로 분할된 데이터에서 신경망 학습을 가능하게 한다.
• 개별 ID로 샘플을 정렬하기 위해 Private Set Intersection를 사용하여 소유자 간 데이터 포인트를 연결한다.
• 수직으로 분할된 MNIST 설정에서 이중 헤드 SplitNN 아키텍처를 시연한다.
• 연구자들이 Split 네트워크를 활용한 수직 연합학습을 탐구할 수 있도록 오픈 소스 도구를 제공한다.

제안 방법

• 모델은 데이터 소유자와 중앙 데이터 과학자가 보유한 세그먼트로 분할된다.
• 학습 전에 공유된 ID로 데이터 포인트를 정렬하기 위해 PSI가 사용되어 데이터세트가 일관되게 인덱싱된다.
• 각 데이터 소유자는 로컬SplitNN 세그먼트를 학습시켜 특징을 중간 표현으로 매핑하고, 출력은 연결되어 데이터 과학자의 세그먼트로 전달된다.
• 학습 중 역전파는 모든 세그먼트를 통해 기울기를 전달한다.
• 프레임워크는 프라이버시를 보장하고 안전한 협업 학습을 가능하게 하기 위해 PySyft를 활용한다.

실험 결과

연구 질문

• RQ1 여러 소유자에 걸친 특징의 수직 분할이 SplitNN를 통한 효과적인 신경망 학습을 지원할 수 있는가?
• RQ2 PSI가 원시 데이터를 노출하지 않고 공동 학습을 가능하게 하도록 데이터세트 간의 데이터 포인트를 신뢰성 있게 정렬할 수 있는가?
• RQ3 특징이 두 데이터 소유자에 수직으로 분포하고 라벨이 데이터 과학자가 보유하는 경우 MNIST에 이중 헤드 SplitNN이 실행 가능한가?

주요 결과

• PyVertical은 수직으로 분할된 MNIST 데이터세트에서 이중 헤드 SplitNN의 학습을 가능하게 한다.
• 각 데이터 소유자는 392길이 입력을 64길이의 중간 벡터로 매핑하고, 데이터 과학자는 128길이의 연결을 10-클래스 소프트맥스에 매핑한다.
• 학습률은 데이터 소유자에 대해 0.01, 데이터 과학자에 대해 0.1을 사용하며 배치 크기는 128이다.
• 데이터 과학자는 학습을 주도하고 손실을 계산한 뒤 데이터 소유자들에게 기울기를 역전파한다.
• 이 접근법은 프라이버시를 보호하는 환경에서 SplitNN과 PSI를 활용한 수직 연합학습의 원리를 보여준다.