[논문 리뷰] FedVS: Straggler-Resilient and Privacy-Preserving Vertical Federated Learning for Split Models

Songze Li, Duanyi Yao외 1명|arXiv (Cornell University)|2023. 04. 26.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

FedVS는 비밀 공유와 다항식 보간을 사용하여 비순차적 클라이언트에서 손실 없는 통합 임bedding를 복원함으로써 동기적, 느린 클라이언트에 강건하며, 사전 정보 기반의 프라이버시 보장을 제공하는 스플릿 모델을 위한 수직联邦학습 프레임워크이다. 이는 궁금한 서버와 최대 T명의 공모 클라이언트에 대해 정보 이론적 프라이버시 보장을 제공하며, 차등 프라이버시나 느린 클라이언트로 인한 지연으로 인한 성능 손실 없이 기준선 대비 더 빠른 수렴과 높은 정확도를 달성한다.

ABSTRACT

In a vertical federated learning (VFL) system consisting of a central server and many distributed clients, the training data are vertically partitioned such that different features are privately stored on different clients. The problem of split VFL is to train a model split between the server and the clients. This paper aims to address two major challenges in split VFL: 1) performance degradation due to straggling clients during training; and 2) data and model privacy leakage from clients' uploaded data embeddings. We propose FedVS to simultaneously address these two challenges. The key idea of FedVS is to design secret sharing schemes for the local data and models, such that information-theoretical privacy against colluding clients and curious server is guaranteed, and the aggregation of all clients' embeddings is reconstructed losslessly, via decrypting computation shares from the non-straggling clients. Extensive experiments on various types of VFL datasets (including tabular, CV, and multi-view) demonstrate the universal advantages of FedVS in straggler mitigation and privacy protection over baseline protocols.

연구 동기 및 목표

• 스플릿 수직 연합학습(VFL) 시스템에서 느린 클라이언트로 인한 훈련 지연과 프라이버시 泄露라는 이중적 과제를 해결하기 위해.
• 알 수 없는 느린 클라이언트가 존재하더라도 모델 수렴과 정확도를 유지하는 동기적 VFL 프로토콜을 설계하기 위해.
• 궁금한 서버와 최대 T명의 공모 클라이언트에 대해 정보 이론적 프라이버시 보장을 제공하기 위해.
• 손실 없는 클라이언트 임베딩 통합을 비스트래글링 클라이언트의 부분 집합만을 사용하여 가능하게 하여 성능 저하 없이 보장하기 위해.
• 차등 프라이버시나 동형 암호화에 의존하지 않고도 높은 프라이버시와 높은 효율성을 동시에 달성하기 위해.

제안 방법

• 클라이언트 간의 로컬 데이터와 모델 파라미터를 비밀 공유하여 부득이성과 프라이버시를 확보하기 위해.
• 임베딩 통합의 계산 및 통신 효율성을 향상시키기 위해 라그랑주 코드 계산(Lagrange Coded Computing, LCC)을 도입하기 위해.
• 다항식 보간을 통해 임베딩 합의 손실 없는 복원을 가능하게 하기 위해 로컬 모델로 다항식 네트워크를 사용하기 위해.
• 다항식 보간의 임계값 성질을 활용하여 비스트래글링 클라이언트의 부분 집합에서만 통합을 허용하기 위해.
• 서버가 개별 임베딩 값을 알 수 없도록 평균화를 통합 방법으로 사용하기 위해.
• 시스템 지연 패턴에 기반해 느린 클라이언트 내성과 로컬 계산 비용을 균형 잡는 파artition 파라미터 K를 설계하기 위해.

실험 결과

연구 질문

• RQ1 동기적 스플릿 VFL 프로토콜이 느린 클라이언트에 강건하고 궁금한 서버 및 공모 클라이언트에 대해 증명 가능하게 프라이버시 보장을 제공할 수 있는가?
• RQ2 개별 임베딩을 드러내지 않고 비스트래글링 클라이언트의 부분 집합에서만 임베딩 통합을 손실 없이 복원할 수 있는가?
• RQ3 비밀 공유 기반 VFL 프레임워크에서 프라이버시 강도(T)와 느린 클라이언트 내성 간의 상호 교환 관계는 무엇인가?
• RQ4 파artition 파라미터 K의 선택이 다양한 느린 클라이언트 지연 패턴 하에서 수렴 속도와 시스템 효율성에 어떤 영향을 미치는가?
• RQ5 비밀 공유 기반 접근이 정확도와 느린 클라이언트 내성 측면에서 차등 프라이버시 및 동형 암호화를 능가할 수 있는가?

주요 결과

• FedVS는 평가된 모든 데이터셋—표본, 컴퓨터 비전, 다중 시각—에서 가장 빠른 수렴 속도와 가장 높은 테스트 정확도를 달성하여 모든 기준선을 능가한다.
• 컴퓨터 비전 및 다중 시각 데이터셋에서, FedVS는 모든 훈련 단계에서 Wait, Ignore, VAFL, Wait-DP를 정확도 면에서 항상 능가한다.
• 표본 데이터셋에서는 초기 수렴 후 FedVS가 VAFL과 Ignore를 초월하여 열악한 장기 성능을 보여준다.
• Wait-DP는 추가된 차등 프라이버시 노이즈로 인해 정확도 저하를 겪는 반면, FedVS는 성능 손실 없이 전체 정확도를 유지한다.
• 느린 클라이언트 지연이 로컬 계산 시간을 지배할 경우, 더 큰 파artition 파라미터 K가 로컬 계산 부담을 최소화하기 위해 최적이다.
• 로컬 계산 시간이 지배할 경우, 더 작은 K가 더 많은 느린 클라이언트를 수용하기 위해 선호되며, 이는 시스템 조건에 따라 적응적 최적화를 보여준다.