[論文レビュー] Vertical Federated Learning: A Structured Literature Review

Afsana Khan, Marijn ten Thij+1 more|arXiv (Cornell University)|Dec 1, 2022

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

この構造的文献レビューは、垂直フェデレーテッドラーニング（VFL）—組織が同じサンプルセット上で特徴量を共有しながらも生データを露呈せずに、プライバシーを守る機械学習パラダイム—について包括的な分析を提供する。本論文は、通信、学習、プライバシー、ビジネス価値の分野における主な課題を特定し、最先端の解決策と8つの未解決の研究方向性（セキュアな特徴選択、公平性、インcentiveメカニズム、解釈可能性を含む）を提示する。

ABSTRACT

Federated Learning (FL) has emerged as a promising distributed learning paradigm with an added advantage of data privacy. With the growing interest in having collaboration among data owners, FL has gained significant attention of organizations. The idea of FL is to enable collaborating participants train machine learning (ML) models on decentralized data without breaching privacy. In simpler words, federated learning is the approach of ``bringing the model to the data, instead of bringing the data to the mode''. Federated learning, when applied to data which is partitioned vertically across participants, is able to build a complete ML model by combining local models trained only using the data with distinct features at the local sites. This architecture of FL is referred to as vertical federated learning (VFL), which differs from the conventional FL on horizontally partitioned data. As VFL is different from conventional FL, it comes with its own issues and challenges. In this paper, we present a structured literature review discussing the state-of-the-art approaches in VFL. Additionally, the literature review highlights the existing solutions to challenges in VFL and provides potential research directions in this domain.

研究の動機と目的

• 研究者を対象に、垂直フェデレーテッドラーニング（VFL）分野における現在の最先端技術の体系的概要を提供すること。
• 通信、学習、プライバシー・セキュリティ、ビジネス価値の各次元におけるVFLの主要な課題を特定・分類すること。
• これらの課題に対処するための既存の解決策および手法を、VFLシステムにおいて分析すること。
• 未解決の研究課題を強調し、プライバシー保護型特徴選択、公平性、インcentiveメカニズム、解釈可能性を含む8つの今後の研究方向性を提案すること。
• 医療、金融、その他のデータ感受性の高い分野における実世界の応用を想定した、安全で公平かつスケーラブルなVFLシステムの開発を支援すること。

提案手法

• VFLに関する査読済み論文およびプレプリント論文を対象とした構造的文献レビューを実施し、技術的側面、プライバシー、ビジネス的側面に焦点を当てる。
• 通信効率、モデル収束、暗号セキュリティ、データプライバシーの取り扱いに基づいて、既存のVFLアプローチを分類する。
• 通信、学習、プライバシー・セキュリティ、ビジネス価値の4つの主要分野において、課題と解決策のマッピングを実施する。
• VFLフレームワーク内での安全な集約、同型暗号、秘密分散などの暗号技術の使用を評価する。
• 参加者貢献度の測定に特にシャープレー値を用いたVFLインcentiveメカニズムにおける協力ゲーム理論の応用を分析する。
• 解釈可能性とバイアス低減の両立を図るため、説明可能なAI（XAI）および公平性に配慮した学習の動向を調査する。

実験結果

リサーチクエスチョン

• RQ1 垂直フェデレーテッドラーニング（VFL）におけるコアな技術的、プライバシー的、ビジネス的課題は何か？
• RQ2 既存の解決策は、VFLにおける通信効率、モデル収束、データプライバシーの課題をどのように対処しているか？
• RQ3 VFLにおける安全な協働学習を可能にする主な暗号技術および機械学習手法は何か？
• RQ4 非同一の、垂直に分割されたデータソースから学習するVFLモデルにおいて、公平性とバイアスをどのように低減できるか？
• RQ5 プライバシーを保ちつつ悪意ある行動を検出可能にし、データ貢献者を公正に報酬化するインcentiveメカニズムは何か？

主な発見

• VFLは、同じサンプルに対して異なる特徴量を持つ複数の組織が、生データを共有せずに協働してモデルを学習可能であり、プライバシーを確保する。
• 通信オーバーヘッドは、クライアントと中央サーバー間の頻回なモデルパラメータのやり取りに起因し、VFLにおける主要な課題の一つである。
• 安全な集約や同型暗号などの暗号技術が、訓練中におけるモデル更新や特徴表現の保護に広く用いられている。
• 進展は見られるものの、VFLにおけるプライバシー保護型特徴選択は依然として未開拓であり、顕著な研究課題である。
• データの非同一性と非同期更新の影響により、VFLにおける公平性の実現は困難であり、バイアスのないモデル学習を保証する手法は限定的である。
• シャープレー値に基づくインcentiveメカニズムは一般的であるが、計算コストが高いため、代替的な協力ゲーム理論的枠組みや参加者選定戦略が、今後の有望な研究方向性である。