[論文レビュー] Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM

Chulin Xie, Pin‐Yu Chen+4 more|arXiv (Cornell University)|Jul 20, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、ADMMを用いて複数回の局所更新を可能にすることで、通信量を低減する効率的な学習を実現する、複数のヘッドを備えた垂直フェデレーテッドラーニングフレームワークVIMを提案する。VIMは、ユーザー単位の微分プライバシーを用いてプライバシーを向上させるとともに、学習されたヘッド重みを通じてクライアントの重要性を明らかにし、収束速度を向上させる。

ABSTRACT

Federated learning (FL) enables distributed resource-constrained devices to jointly train shared models while keeping the training data local for privacy purposes. Vertical FL (VFL), which allows each client to collect partial features, has attracted intensive research efforts recently. We identified the main challenges that existing VFL frameworks are facing: the server needs to communicate gradients with the clients for each training step, incurring high communication cost that leads to rapid consumption of privacy budgets. To address these challenges, in this paper, we introduce a VFL framework with multiple heads (VIM), which takes the separate contribution of each client into account, and enables an efficient decomposition of the VFL optimization objective to sub-objectives that can be iteratively tackled by the server and the clients on their own. In particular, we propose an Alternating Direction Method of Multipliers (ADMM)-based method to solve our optimization problem, which allows clients to conduct multiple local updates before communication, and thus reduces the communication cost and leads to better performance under differential privacy (DP). We provide the user-level DP mechanism for our framework to protect user privacy. Moreover, we show that a byproduct of VIM is that the weights of learned heads reflect the importance of local clients. We conduct extensive evaluations and show that on four vertical FL datasets, VIM achieves significantly higher performance and faster convergence compared with the state-of-the-art. We also explicitly evaluate the importance of local clients and show that VIM enables functionalities such as client-level explanation and client denoising. We hope this work will shed light on a new way of effective VFL training and understanding.

研究の動機と目的

• 垂直フェデレーテッドラーニング（VFL）における高い通信コストを解消すること。これは、頻繁な勾配の交換によりプライバシー予算が急速に枯渇するためである。
• 通信ラウンドごとに複数回の局所更新を可能にすることで、通信頻度を低減し、効率を向上させること。
• モデルおよびラベルデータの両方に対して、形式的な収束保証とユーザー単位の微分プライバシー（DP）を提供すること。
• ヘッド重みを通じてクライアントの重要性を学習することで、クライアントレベルの説明可能性を実現し、クライアントノイズ除去や要約機能を支援すること。
• モデル分割あり・なしの両方のVFL設定を統一されたフレームワークでサポートすること。

提案手法

• 各クライアントごとに1つの線形ヘッドを備えたVFLフレームワークVIMを提案する。各ヘッドは、そのクライアントの局所的特徴の寄与度をモデル化する。
• ADMMを用いてグローバル最適化問題をクライアント固有の部分問題に分解し、ADMM変数による調整を介して反復的更新を可能にする。
• モデル分割ありのVIMADMMと、モデル分割なしのVIMADMM-Jを設計し、両設定をADMMベースの最適化と局所更新を用いてサポートする。
• 局所モデル出力を通信前にクリッピングおよびノイズ付加することでユーザー単位のDPを導入し、形式的なDP保証の証明を提示する。
• ALIBIを用いてラベルDPを統合し、サーバー保有のラベルを保護することでエンドツーエンドのプライバシーを確保する。
• クライアント固有のヘッド重みのノルムをクライアントの重要性の代理指標として活用し、クライアントレベルの分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ADMMベースの最適化は、モデル性能を維持したままVFLにおける通信コストを低減できるか？
• RQ2 提案フレームワークはユーザー単位の微分プライバシー下でどのように動作するか。また、プライバシー予算の消費はどの程度か？
• RQ3 VIMにおける学習されたヘッド重みは、特徴品質および貢献度という意味でクライアントの真の重要性を反映しているか？
• RQ4 VIMは、ノイズ除去、要約、説明といったクライアントレベルの機能をどの程度サポートできるか？
• RQ5 多様なデータセットにおいて、SOTAのVFL手法と比較してVIMの収束速度と精度はどの程度か？

主な発見

• VIMADMMは、MNIST、CIFAR、NUS-WIDE、ModelNet40の4つのVFLベンチマークデータセットにおいて、SOTA手法と比較して顕著に高速な収束と高い精度を達成した。
• MNISTでは、ヘッド重みノルムに基づいて最も重要な50%のクライアントでのみ学習しても、テスト精度の低下は1%未満にとどまり、20%の重要クライアントでも88%以上の精度を達成した。
• 最も重要でない50%のクライアントでの学習では、MNISTで78.11%の精度にとどまり、ヘッド重みのノルムによるクライアント選択の有効性が裏付けられた。
• 高重みクライアントの特徴を摂動させると、低重みクライアントを摂動させるよりもテスト精度が顕著に低下し、ヘッド重みがクライアントの重要性を適切に反映していることが検証された。
• VIMADMMは、訓練中にノイズの多いクライアントを特定し、重みを低減することで効果的に処理しており、ノイズの多いクライアントのヘッド重みがクリアなクライアントよりも小さくなっていることが示された。
• フレームワークはクライアントノイズ除去をサポートする。ノイズの多いクライアントを含む学習でも、ベースラインより高速に収束し、より高い精度を達成しており、データ品質のばらつきに対して強いことが示された。