[論文レビュー] Multi-VFL: A Vertical Federated Learning System for Multiple Data and Label Owners

Vaikkunth Mugunthan, Pawan Goyal+1 more|arXiv (Cornell University)|Jun 10, 2021

Privacy-Preserving Technologies in Data参考文献 17被引用数 6

ひとこと要約

本稿では、複数のデータ所有者（D）と複数のラベル所有者（K）を想定した、初めての垂直フェデレーテッドラーニング（VFL）フレームワークであるMulti-VFLを提案する。このフレームワークは、生データを共有せずに協調的なモデル学習を可能にする。スプリットラーニングと、FedDemonAdamなどの適応的フェデレーテッド最適化手法を組み合わせることで、MNISTおよびFashionMNISTデータセット上で、非IIDラベル分布下でも収束が速く、精度が向上することを示している。

ABSTRACT

Vertical Federated Learning (VFL) refers to the collaborative training of a model on a dataset where the features of the dataset are split among multiple data owners, while label information is owned by a single data owner. In this paper, we propose a novel method, Multi Vertical Federated Learning (Multi-VFL), to train VFL models when there are multiple data and label owners. Our approach is the first to consider the setting where $D$-data owners (across which features are distributed) and $K$-label owners (across which labels are distributed) exist. This proposed configuration allows different entities to train and learn optimal models without having to share their data. Our framework makes use of split learning and adaptive federated optimizers to solve this problem. For empirical evaluation, we run experiments on the MNIST and FashionMNIST datasets. Our results show that using adaptive optimizers for model aggregation fastens convergence and improves accuracy.

研究の動機と目的

• 医療分野など実世界の応用で一般的な、複数のデータ所有者と複数のラベル所有者を有する状況における垂直フェデレーテッドラーニング（VFL）のギャップを埋める。
• 複数のラベル所有者にまたがる非IIDラベル分布によって引き起こされるクライアントドリフトおよび収束不良を克服する。
• 適応的最適化手法（例：FedAdam、FedYogi、FedDemonAdam）をアグリゲーションプロセスに統合することで、垂直FLにおけるモデル性能を向上させる。
• プライベートセットインタセクション（PSI）を用いた安全なエンティティレゾリューションにより、機微なデータを共有せずに分散されたエントリ間での協働を可能にする。
• MNISTおよびFashionMNISTを用いた実験的評価を通じて、非IID環境下における適応的最適化手法の有効性を実証する。

提案手法

• D人のデータ所有者に特徴量を分散し、K人のラベル所有者にラベルを分散し、データ共有を伴わずに共有ディープニューラルネットワークの学習を実行するスプリットラーニングを用いる。
• ニューラルネットワークにカットレイヤーを設け、データ所有者が活性化を計算し、それらをラベル所有者に渡してフォワードパスを実行する。
• ラベル側でバックプロパゲーションを実行し、カットレイヤーで勾配を分割し、それらを対応するデータ所有者に送信して局所的な重み更新を行う。
• K人のラベル所有者からのモデル更新を統合するために、フェデレーテッド最適化手法（FedAvg、FedAdam、FedYogi、FedDemonAdam）を用いたサーバー側のアグリゲーションメカニズムを実装する。
• Adamベースの最適化手法におけるモーメンタムを適応的に調整するため、デモントレーション（減衰モーメンタム）ルールを適用し、非IID環境下での収束性を向上させる。
• データ所有者とラベル所有者の間で重複する個人を安全に特定するために、プライベートセットインタセクション（PSI）を統合する。

実験結果

リサーチクエスチョン

• RQ1 複数のデータ所有者と複数のラベル所有者を有する状況に、垂直フェデレーテッドラーニングを効果的に拡張できるか？
• RQ2 複数のラベル所有者にまたがる非IIDラベル分布が、垂直FLにおけるモデルの収束性と精度に与える影響は何か？
• RQ3 適応的フェデレーテッド最適化手法（例：FedAdam、FedDemonAdam）は、非IIDラベル条件下でFedAvgに比べて収束速度と最終精度において優れているか？
• RQ4 適応的最適化手法の統合により、マルチラベル所有者環境下のVFLにおけるクライアントドリフトを緩和し、モデル性能を向上させられるか？
• RQ5 ラベル分布の多様性（一部の所有者は全ラベルを有し、他の所有者は部分的なラベルしか持たない）が、全体の学習パフォーマンスに与える影響は何か？

主な発見

• 4niid状況（5人のラベル所有者のうち4人が極めて非IIDのラベル分布を有する）では、FashionMNISTデータセット上で500エポック経過後もFedAvgは収束しない。
• FedDemonAdam や FedYogi などの適応的最適化手法は、非IID環境下でもFedAvgに比べて収束速度と最終精度が顕著に向上する。
• FashionMNISTデータセットでは、適応的最適化手法がFedAvgに比べてモデル精度を2〜3%向上させ、困難なデータ分布環境下での有効性を示している。
• 非IIDラベル所有者の数が増えるにつれてモデルの精度が低下する傾向を確認し、FedAvgにおけるラベル分布の偏りが負の影響を及ぼすことを裏付けた。
• 提案されたMulti-VFLフレームワークは、生データを共有せずに複数のデータ所有者およびラベル所有者間でモデルを安定して学習可能であり、適応的アグリゲーションを用いて安定した収束を達成した。
• Adamベースの最適化にデモントレーション（減衰モーメンタム）ルールを統合することで、ローカルで非IIDな環境下でも性能が向上し、フェデレーテッド環境下での有効性が検証された。