[論文レビュー] Fair and efficient contribution valuation for vertical federated learning

Zhenan Fan, Fang Huang+5 more|arXiv (Cornell University)|Jan 7, 2022

Privacy-Preserving Technologies in Data被引用数 15

ひとこと要約

本稿では、垂直フェデレーテッドラーニング（VFL）における公平で効率的な寄与評価手法として、Vertical Federated Shapley Value（VerFedSV）を提案する。VerFedSVは、全モデル再訓練を伴わずにクライアントの寄与を評価する。複数の訓練時刻におけるクライアント埋め込みと行列補完技術を活用することで、重要な公平性公理を満たし、同期的および非同期的VFLの両方に適応可能であり、高い効率性と、データ品質および通信頻度を反映した正確な報酬配分を達成する。

ABSTRACT

Federated learning is an emerging technology for training machine learning models across decentralized data sources without sharing data. Vertical federated learning, also known as feature-based federated learning, applies to scenarios where data sources have the same sample IDs but different feature sets. To ensure fairness among data owners, it is critical to objectively assess the contributions from different data sources and compensate the corresponding data owners accordingly. The Shapley value is a provably fair contribution valuation metric originating from cooperative game theory. However, its straight-forward computation requires extensively retraining a model on each potential combination of data sources, leading to prohibitively high communication and computation overheads due to multiple rounds of federated learning. To tackle this challenge, we propose a contribution valuation metric called vertical federated Shapley value (VerFedSV) based on the classic Shapley value. We show that VerFedSV not only satisfies many desirable properties of fairness but is also efficient to compute. Moreover, VerFedSV can be adapted to both synchronous and asynchronous vertical federated learning algorithms. Both theoretical analysis and extensive experimental results demonstrate the fairness, efficiency, adaptability, and effectiveness of VerFedSV.

研究の動機と目的

• 垂直フェデレーテッドラーニング（VFL）における公平で効率的な寄与評価の課題に取り組むこと。ここでは、データ所有者が共有サンプル上で異なる特徴を寄与する。
• VFLにおける正確なシャープレー値計算の prohibitively 高い計算コストを克服すること。これは、すべてのクライアント部分集合に対して再訓練を要するためである。
• シャープレー値の公平性特性（対称性、加法性、ゼロ要素、バランス）を保ちつつ、実世界のVFLシステムにスケーラブルな方法を設計すること。
• 同期的および非同期的VFLトレーニングプロトコルの両方に適応可能であり、データ品質およびクライアントの計算的負荷を反映すること。
• 実験的に、VerFedSVが、より良い品質のデータを持つクライアントおよびより高い通信頻度を持つクライアントに高い評価を割り当てるかどうかを検証すること。

提案手法

• シャープレー値に基づく新規な寄与評価指標であるVerFedSVを提案。VFLに適応するため、クライアント埋め込みを複数の訓練時刻で計算し、マージナル寄与を算出する。
• 同期的VFLにおいて、クライアント部分集合全体のグローバルモデル性能を効率的に推定するために行列補完技術を活用し、全再訓練を回避する。
• 時刻付きクライアント埋め込みを活用して、すべての可能なクライアント連合における各クライアントの寄与を近似する。
• トレーニング中に段階的に寄与を計算する動的評価フレームワークを設計し、通信および計算オーバーヘッドを低減する。
• 非同期VFLにも適用可能：非同期設定では、データの関連性に加え、通信頻度を計算的負荷の代理として反映する。
• 各評価時刻における各クライアントからの段階的寄与を組み合わせることで、効率的にVerFedSVを計算する再帰的集約方式を採用する。

実験結果

リサーチクエスチョン

• RQ1 全モデル再訓練を伴わず、垂直フェデレーテッドラーニングにおいてシャープレー値に基づく寄与評価指標を効率的に計算できるか？
• RQ2 提案手法がVFL環境において公平性公理（対称性、加法性、ゼロ要素、バランス）を保っているか？
• RQ3 非同期VFL環境において、VerFedSVはデータ品質および通信頻度の違いをどのように反映するか？
• RQ4 VerFedSVは同期的および非同期的VFLトレーニングプロトコルの両方で効率的に計算可能か？
• RQ5 VerFedSVは、より高い品質のデータおよびより活発な参加を示すクライアントに、どれほど高い評価を割り当てるか？

主な発見

• VerFedSVは、理論的に定理1で示されたシャープレー値の4つの公平性公理（対称性、加法性、ゼロ要素、バランス）をすべて満たす。
• 実験では、ランダムに生成された特徴を持つクライアントが、すべてのデータセットで合計VerFedSVの0.4%未満を獲得した。これは、意味のあるデータのみが評価に寄与することを確認する。
• 通信頻度が高いクライアントは、比例的に高いVerFedSVを獲得した。例えば、Adultデータセットでは、同一の特徴を持つ人工クライアントの中で、通信頻度が最も高いクライアントが93%の評価を獲得した。
• 非同期設定では、VerFedSVはクライアントの計算的負荷を正確に反映し、通信頻度が増加するにつれて評価が線形に増加した。これは、データ品質が同一であっても同様に成り立つ。
• Adultデータセットでは、通常のクライアントが合計VerFedSVの97.91%を獲得した一方、ランダム特徴を持つ人工クライアントはわずか2.09%にとどまった。これは、データ品質に敏感であることを示す。
• VerFedSVは、全モデル再訓練を伴わず、通信および計算コストの高い大規模VFLシステムにおいても実用的である、効率的な寄与評価を可能にする。