[논문 리뷰] Vertical Federated Learning: Challenges, Methodologies and Experiments

Wei Kang, Jun Li외 6명|arXiv (Cornell University)|2022. 02. 09.

Privacy-Preserving Technologies in Data인용 수 52

한 줄 요약

본 논문은 일반적인 Vertical Federated Learning (VFL) 프레임워크를 제시하고, 이를 Horizontal FL과 대조하며, 핵심 도전 과제를 식별하고, 해결책을 제안하며, 실제 데이터셋(Adult 및 Avazu)에 대한 실험을 통해 이를 검증한다.

ABSTRACT

Recently, federated learning (FL) has emerged as a promising distributed machine learning (ML) technology, owing to the advancing computational and sensing capacities of end-user devices, however with the increasing concerns on users' privacy. As a special architecture in FL, vertical FL (VFL) is capable of constructing a hyper ML model by embracing sub-models from different clients. These sub-models are trained locally by vertically partitioned data with distinct attributes. Therefore, the design of VFL is fundamentally different from that of conventional FL, raising new and unique research issues. In this paper, we aim to discuss key challenges in VFL with effective solutions, and conduct experiments on real-life datasets to shed light on these issues. Specifically, we first propose a general framework on VFL, and highlight the key differences between VFL and conventional FL. Then, we discuss research challenges rooted in VFL systems under four aspects, i.e., security and privacy risks, expensive computation and communication costs, possible structural damage caused by model splitting, and system heterogeneity. Afterwards, we develop solutions to addressing the aforementioned challenges, and conduct extensive experiments to showcase the effectiveness of our proposed solutions.

연구 동기 및 목표

• 일반적인 VFL 프레임워크를 제시하고 HFL과의 차이를 명확히 한다.
• VFL의 보안/프라이버시, 계산/통신, 구조적, 시스템 이질성 도전 과제를 식별한다.
• 이 도전 과제들에 대한 해결책을 개발하고 논의한다.
• 실제 데이터세트에 대한 실험을 통해 제안된 해결책의 효과를 입증한다.

제안 방법

• 일곱 단계의 일반 VFL 워크플로우를 정의한다(PSI, BM-FP, forwarding 전송, TM-FP, TM-BP, backward 전송, BM-BP).
• 데이터 특성, 교환되는 메시지, 모델 구조에서 VFL과 HFL을 비교한다.
• DP, Secure MPC, 동형 암호(Homomorphic Encryption) 및 이들의 trade-off를 포함한 프라이버시 보존 옵션을 논의한다.
• 전송 압축, 모델 프루닝, 데이터 샘플링을 통한 향상된 통신 스킴을 제안한다.
• 지능형 할당 및 히스토리 기반 업데이트를 통한 이질성에 따른 비동기 VFL 문제를 해결한다.
• 통신, 프라이버시, 모델 성능에 대한 분할 설계의 영향을 분석한다.

실험 결과

연구 질문

• RQ1 수직 연합 학습이 수직 FL의 고유한 도전 과제는 무엇인가?
• RQ2 비용이 과도하지 않으면서 VFL에서 프라이버시와 보안을 어떻게 보존할 수 있는가?
• RQ3 모델 성능을 유지하면서 VFL에서 통신 및 계산을 어떻게 줄일 수 있는가?
• RQ4 참가자 간 모델 분할 방식이 프라이버시, 효율성, 정확도에 어떤 영향을 미치는가?

주요 결과

• 일반적인 VFL 프레임워크가 제안되었고 HFL과의 주요 차이가 확인되었다.
• 프라이버시 보존 기법(DP, SMC, HE)은 VFL에서 유틸리티, 보안, 효율성 간에 trade-off가 있다.
• 압축, 프루닝, 데이터 샘플링은 통신 비용을 크게 줄일 수 있으며, 설정에 따라 성능에 측정 가능한 영향을 준다.
• 분할 설계는 계산/통신 비용 및 모델 성능에 영향을 주며, 더 깊은 분할은 일반적으로 비용을 증가시키고 정확도를 감소시킬 수 있다.
• Adult 및 Avazu 데이터셋에 대한 실험은 프라이버시 수준, 압축, 및 다양한 구성에서 AUC 성능 간의 관계를 보여준다.