[論文レビュー] Achieving Model Fairness in Vertical Federated Learning

Changxin Liu, Zhenan Fan+5 more|arXiv (Cornell University)|Sep 17, 2021

Privacy-Preserving Technologies in Data参考文献 38被引用数 12

ひとこと要約

本稿では、データの機微性を保ちながら、重複のない特徴設定下でもモデルの公平性を確保するフェアな垂直フェデレーテッドラーニングフレームワークを提案する。公平性は制約付きのミニマックス最適化問題として定式化され、プライバシー保護型通信を伴う非同期デュアル上昇アルゴリズムにより解かれる。収束はO(δ⁻⁴)回の通信ラウンド内でδ-停留点に達し、ベンチマークデータセット上で最先端の公平性と精度のトレードオフを達成する。

ABSTRACT

Vertical federated learning (VFL) has attracted greater and greater interest since it enables multiple parties possessing non-overlapping features to strengthen their machine learning models without disclosing their private data and model parameters. Similar to other machine learning algorithms, VFL faces demands and challenges of fairness, i.e., the learned model may be unfairly discriminatory over some groups with sensitive attributes. To tackle this problem, we propose a fair VFL framework in this work. First, we systematically formulate the problem of training fair models in VFL, where the learning task is modelled as a constrained optimization problem. To solve it in a federated and privacy-preserving manner, we consider the equivalent dual form of the problem and develop an asynchronous gradient coordinate-descent ascent algorithm, where some active data parties perform multiple parallelized local updates per communication round to effectively reduce the number of communication rounds. The messages that the server sends to passive parties are deliberately designed such that the information necessary for local updates is released without intruding on the privacy of data and sensitive attributes. We rigorously study the convergence of the algorithm when applied to general nonconvex-concave min-max problems. We prove that the algorithm finds a $δ$-stationary point of the dual objective in $\mathcal{O}(δ^{-4})$ communication rounds under mild conditions. Finally, the extensive experiments on three benchmark datasets demonstrate the superior performance of our method in training fair models.

研究の動機と目的

• 特徴が重複しない環境下で、モデルが機微属性を持つグループに対して差別的になるのを防ぐこと。
• 非重複する特徴を持つ参加者間で、データの機微性を保ちながら公平性を確保するフェデレーテッドラーニングフレームワークを設計すること。
• 非同期的かつプライバシー保護型の方法で、1ラウンドあたり複数回の局所更新を可能にすることで、VFLにおける通信ラウンド数を削減すること。
• やや緩い条件下で、提案されたアルゴリズムがδ-停留点に収束することを形式的に証明すること。
• 実世界のベンチマークデータセットを用いた実験により、本手法の公平性と精度における優位性を検証すること。

提案手法

• 本稿では、フェアなVFLを非凸・制約付き最適化問題として定式化し、分散処理が可能な同等の双対形式に変換する。
• 非同期勾配座標降下上昇アルゴリズムを提案し、アクティブ参加者が通信ラウンドごとに複数回の局所更新を実行できるようにする。
• サーバーはマスクされたメッセージを受動参加者に送信し、生データや機微属性を露呈せずに局所更新に必要な情報のみを公開する。
• 収束を保証するため、適応的ステップサイズとモーメンタム項を用い、収束解析は非凸・凹型ミニマックス最適化理論に基づく。
• 主な構成要素には、双対変数の更新、公平性制約の正則化項、収束誤差をバインドするためのリャプノフ型解析が含まれる。
• 本手法は、生データや機微属性を一切送信しないことでプライバシーを確保しており、送信されるのはマスク処理済みの集約更新情報のみである。

実験結果

リサーチクエスチョン

• RQ1 機微属性や生データを共有せずに、垂直フェデレーテッドラーニングにおける公平性を効果的に強制可能か？
• RQ2 公平性とプライバシーを維持したまま、VFLにおける通信効率をどのように向上できるか？
• RQ3 非同期的かつ非凸的、プライバシー保護型の環境下で、フェアなVFLアルゴリズムの理論的収束保証はどのようなものか？
• RQ4 提案手法は、実世界のデータセットにおいて、既存手法よりも優れた公平性と精度のトレードオフを達成できるか？
• RQ5 1ラウンドあたりの局所更新回数が、本フレームワークにおける収束性と公平性にどのように影響するか？

主な発見

• やや緩い条件下で、提案されたアルゴリズムはO(δ⁻⁴)回の通信ラウンド内で双対目的関数のδ-停留点に収束する。
• 1ラウンドあたり複数回の局所更新を許可することで通信ラウンド数を削減し、プライバシーを損なわず効率性を向上させる。
• 3つのベンチマークデータセットを用いた広範な実験により、ベースライン手法に比べて優れた公平性パフォーマンスを示し、等しい機会とデモグラフィックパラメータの平等性指標において明確な改善が得られた。
• モデルの精度は高い水準を維持しながら、機微グループ全体における公平性違反スコアが顕著に低減され、不平等性が著しく減少した。
• 収束解析により理論的安定性が確立され、非同期更新や非凸目的関数下でもアルゴリズムが安定的かつ効果的に機能することが証明された。
• プライバシー保護設計により、学習中において機微属性や生データが一切露呈せず、強い機微性要件を満たしている。