[論文レビュー] Coresets for Vertical Federated Learning: Regularized Linear Regression and $K$-Means Clustering

Lingxiao Huang, Zhize Li+2 more|arXiv (Cornell University)|Oct 26, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿は、通信効率の良い垂直フェデレーテッドラーニング（VFL）のための統一的コアセット構築フレームワークを提案する。正則化線形回帰およびK-meansクラスタリングにおいて、サブラインア通信複雑度を実現する。分散重要度サンプリングと頑健なコアセット理論を活用することで、nに比べて小さくなる（o(n)）コアセットサイズでε-近似解を得ることができ、わずかな条件下でもモデル品質を維持する。

ABSTRACT

Vertical federated learning (VFL), where data features are stored in multiple parties distributively, is an important area in machine learning. However, the communication complexity for VFL is typically very high. In this paper, we propose a unified framework by constructing coresets in a distributed fashion for communication-efficient VFL. We study two important learning tasks in the VFL setting: regularized linear regression and $k$-means clustering, and apply our coreset framework to both problems. We theoretically show that using coresets can drastically alleviate the communication complexity, while nearly maintain the solution quality. Numerical experiments are conducted to corroborate our theoretical findings.

研究の動機と目的

• 同じデータの異なる特徴サブセットを持つ複数の参加者が関与する垂直フェデレーテッドラーニング（VFL）における高い通信複雑度に対処すること。
• 高いモデル精度を維持しながら、スケーラブルで通信効率の良いVFLのトレーニングフレームワークを構築すること。
• 正則化線形回帰およびK-meansクラスタリングの両方の学習タスクに適用可能な統一的コアセット構築手法を設計すること。
• データセットサイズnに対してサブラインアにスケーリングするコアセットを用いて、ε-近似解を達成すること。
• 生データの転送を避けることでプライバシーを確保するとともに、頑健なコアセットサンプリングにより解の品質を維持すること。

提案手法

• 各参加者が局所的な勾配と特徴ノルムに基づくサンプリング確率を用いて、分散重要度サンプリングによりコアセットを構築する。
• 弱い仮定のもとで、両学習タスクに対して(β, ε)-近似保証を満たす頑健なコアセットフレームワークを用いる。
• コアセットの文献から得られる理論的境界を応用し、次元d、k、ε、β、信頼度δに依存するサンプルサイズmを導出する。
• 通信効率の良いプロトコルを設計し、各参加者が局所統計を計算し、コアセット関連の重みとインデックスのみを送信する。
• 疑似次元と関数空間解析を活用して、コアセット構築プロセスにおける近似誤差を制限する。
• 理論的枠組みにおけるg_iおよびcG項の境界を制御することで、コアセットサイズがo(n)のまま保たれることを保証する。

実験結果

リサーチクエスチョン

• RQ1 垂直フェデレーテッドラーニングにおいて、分散的かつ通信効率の良い方法でコアセットを構築できるか？
• RQ2 通信複雑度がサブラインアに抑えられる条件下で、正則化線形回帰のVFLにおいてε-近似解を得られるコアセットフレームワークを構築できるか？
• RQ3 同じコアセットフレームワークをK-meansクラスタリングのVFLに拡張でき、同程度の通信コスト削減が可能か？
• RQ4 コアセットサイズは、モデルの複雑さ（d, k）、近似誤差ε、信頼度δに対してどのようにスケーリングされるか？
• RQ5 同じ通信予算のもとで、一様サンプリングと比較してコアセットベースのアプローチは解の品質で優れているか？

主な発見

• 提案されたコアセットフレームワークは、nとは無関係に、O(d⁴ / (ε²β²T²) · (d² + log(1/δ)))のコアセットサイズで正則化線形回帰のε-近似を達成する。
• K-meansクラスタリングにおいては、コアセットサイズがO(α²k⁴ / (ε²β²) · (dk + log(1/δ)))であり、nに対してサブラインアでかつデータセットサイズに依存しない。
• 通信複雑度はO(mT)にまで低減され、nに対してサブラインア通信が達成される。
• 数値実験により、コアセット手法がフルデータトレーニングと同等の解の品質を維持しながら、通信量を著しく削減することが確認された。
• 一様サンプリングと比較して、同じまたは低い通信コストで、コアセットアプローチがより優れたモデル性能を達成した。
• 理論的解析により、弱い条件下でもコアセット構築が頑健であり、高確率（1−δ）で近似保証が維持されることを証明した。