[論文レビュー] FedVS: Straggler-Resilient and Privacy-Preserving Vertical Federated Learning for Split Models

Songze Li, Duanyi Yao+1 more|arXiv (Cornell University)|Apr 26, 2023

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

FedVS は、秘密分散と多項式補間を用いて、遅延するクライアント（ストラグル）が存在する状況下でも、非ストラグルクライアントからの集約埋め込みを損失なしに再構築できる、同期的でストラグル耐性があり、プライバシーを保証するスプリットモデル向けの垂直フェデレーテッドラーニングフレームワークです。曲がりなりにも、好奇なサーバーおよび最大 T 名の共謀クライアントに対して情報理論的プライバシーを提供します。微分プライバシーによる性能損失やストラグルに起因する遅延が生じないまま、ベースラインを上回る収束速度と高い精度を達成しています。

ABSTRACT

In a vertical federated learning (VFL) system consisting of a central server and many distributed clients, the training data are vertically partitioned such that different features are privately stored on different clients. The problem of split VFL is to train a model split between the server and the clients. This paper aims to address two major challenges in split VFL: 1) performance degradation due to straggling clients during training; and 2) data and model privacy leakage from clients' uploaded data embeddings. We propose FedVS to simultaneously address these two challenges. The key idea of FedVS is to design secret sharing schemes for the local data and models, such that information-theoretical privacy against colluding clients and curious server is guaranteed, and the aggregation of all clients' embeddings is reconstructed losslessly, via decrypting computation shares from the non-straggling clients. Extensive experiments on various types of VFL datasets (including tabular, CV, and multi-view) demonstrate the universal advantages of FedVS in straggler mitigation and privacy protection over baseline protocols.

研究の動機と目的

• ストラグルに起因する学習遅延とプライバシー漏洩という二重の課題に取り組むこと。
• 未知のストラグルが存在する状況下でも、モデルの収束と精度を維持できる同期的 VFL プロトコルを設計すること。
• 好奇なサーバーおよび最大 T 名の共謀クライアントに対して、情報理論的プライバシー保証を提供すること。
• 非ストラグルクライアントのサブセットからのみ、損失なしにクライアント埋め込みを集約可能にすることにより、性能劣化を回避すること。
• 微分プライバシー や同型暗号化に依存せず、高プライバシー性と高効率性を両立させること。これらは精度にコストを伴うため。

提案手法

• クライアント間でローカルデータおよびモデルパラメータを秘密分散することで、冗長性を確保するとともにプライバシーを保護すること。
• 埋め込み集約における計算および通信効率を向上させるために、ラグランジュ符号化計算（LCC）を採用すること。
• 多項式ネットワークをローカルモデルとして使用し、多項式補間によって埋め込み和を損失なしに再構築可能にすること。
• 多項式補間の閾値特性を活用し、非ストラグルクライアントのサブセットからのみ集約を可能にすること。
• 平均化を集約手法として採用し、サーバーが個々の埋め込み値を学習しないようにすること。
• システム遅延パターンに基づいて、ストラグル耐性とローカル計算コストのバランスを取るために、パーティションパラメータ K を設計すること。

実験結果

リサーチクエスチョン

• RQ1 同期的スプリット VFL プロトコルは、ストラグル耐性と好奇なサーバーおよび共謀クライアントに対する証明可能なプライバシーを両立させられるか？
• RQ2 個々の埋め込みが露呈されないまま、非ストラグルクライアントのサブセットからのみ、埋め込み集約を損失なしに再構築できるか？
• RQ3 秘密分散ベースの VFL フレームワークにおいて、プライバシー強度（T）とストラグル耐性のトレードオフは何か？
• RQ4 パーティションパラメータ K の選択が、さまざまなストラグル遅延パターン下での収束速度とシステム効率に与える影響は何か？
• RQ5 秘密分散ベースのアプローチは、微分プライバシーおよび同型暗号化を上回る精度とストラグル耐性を達成できるか？

主な発見

• FedVS は、評価されたすべてのデータセット（表形式、コンピュータビジョン、マルチビュー）で、最も速い収束速度と最高のテスト精度を達成し、すべてのベースラインを上回っています。
• コンピュータビジョンおよびマルチビューのデータセットでは、FedVS は、すべての学習ステップで Wait、Ignore、VAFL、Wait-DP を上回るテスト精度を示しています。
• 表形式データセットでは、初期収束後、FedVS は VAFL や Ignore を上回り、優れた長期的性能を示しています。
• Wait-DP は追加された微分プライバシーのノイズにより精度が低下する一方、FedVS は性能損失なしに完全な精度を維持しています。
• ストラグル遅延がローカル計算時間に比べて支配的である場合、より大きなパーティションパラメータ K が、ローカル計算負荷を最小限に抑える最適な選択です。
• ローカル計算時間が支配的である場合、より小さな K がストラグル耐性を高めるために好ましく、システム状態に応じた適応的最適化が可能であることが示されています。