[論文レビュー] Multi-Participant Multi-Class Vertical Federated Learning

Siwei Feng, Han Yu|arXiv (Cornell University)|Jan 30, 2020

Privacy-Preserving Technologies in Data参考文献 23被引用数 68

ひとこと要約

MMVFLは、2者以上の参加者を含むマルチクラス垂直連合学習のプライバシー保護フレームワークを導入し、ラベル ownership から他の参加者へのラベル共有を可能にし、通信オーバーヘッドを削減する特徴選択を実行します。教師ありベースラインと同等のマルチクラスの性能を達成します。

ABSTRACT

Federated learning (FL) is a privacy-preserving paradigm for training collective machine learning models with locally stored data from multiple participants. Vertical federated learning (VFL) deals with the case where participants sharing the same sample ID space but having different feature spaces, while label information is owned by one participant. Current studies of VFL only support two participants, and mostly focus on binaryclass logistic regression problems. In this paper, we propose the Multi-participant Multi-class Vertical Federated Learning (MMVFL) framework for multi-class VFL problems involving multiple parties. Extending the idea of multi-view learning (MVL), MMVFL enables label sharing from its owner to other VFL participants in a privacypreserving manner. To demonstrate the effectiveness of MMVFL, a feature selection scheme is incorporated into MMVFL to compare its performance against supervised feature selection and MVL-based approaches. Experiment results on real-world datasets show that MMVFL can effectively share label information among multiple VFL participants and match multi-class classification performance of existing approaches.

研究の動機と目的

• 垂直連合学習 (VFL) を複数の参加者を含むマルチクラス問題へ拡張する。
• ラベル所有者から他の参加者へのプライバシー保護付きラベル共有を可能にする。
• 通信と計算コストを評価・削減するための特徴選択を組み込む。
• 各参加者の特徴重要度を評価する仕組みを提供して VFL の効率を改善する。
• 実データセットで競争力のあるマルチクラス分類性能を実証する。

提案手法

• MMVFLを、各参加者ごとに別個のモデルを持つマルチビュー学習にインスパイアされたVFLフレームワークとしてモデル化する。
• 疎学習に基づく教師なし特徴選択を用いて、各参加者の特徴重要度を、l2,1正則化子を含む最適化（式( Eq. 1 )）を介して計算する。
• ラベル共有を適応させ、ラベル所有者の真のラベルとしてYを用いた擬似ラベル行列Z_kと共有Zを導入する（式( Eq. 3 )）。
• 難しい制約をペナルティ項（式( Eq. 4 )）で緩和し、W_kを更新する交互最適化（式( Eq. 8 )）、Z_k（式( Eq. 11/12 )）、Z（式( Eq. 14 )）で解く。
• 各参加者が局所的なW_k, Z_k、および中央のZを更新する並列の連合トレーニング手順（アルゴリズム1）を提供する。
• 収束（目的関数の非増加）と、反復ごとの時間計算量は最も遅い参加者に支配され、O((max_k d_k)^3)であることを議論する。

実験結果

リサーチクエスチョン

• RQ1 MMVFLは、プライバシーを保ちながら2人を超える複数の参加者で効果的なマルチクラスVFLを実現できるか？
• RQ2 ラベル ownership から他の参加者へのラベル共有は、VFLにおけるマルチクラス分類性能を改善するか？
• RQ3 説明可能な特徴重要度に基づく特徴選択は、MMVFLで実現可能かつ、通信と計算を削減する上で有益か？

主な発見

データセット	P1	P2	P3	P4	P5	P6	平均
Handwritten	1.46	-2.39	0.76	6.48	0.77	-	1.42
Handwritten	1.99	-2.31	1.03	9.67	1.16	-	2.31
Caltech7	0.69	2.16	1.55	-1.22	-6.29	-4.12	-1.21
Caltech7	0.41	2.82	2.61	-1.18	-5.71	-4.20	-0.88

• MMVFLは生データを公開せずラベル共有を実現し、教師ありベースラインと比較して競争力のあるマルチクラス性能を示す。
• Handwrittenデータで、MMVFLは参加者全体で平均約2.31ポイントまで2つのベースラインを上回った。
• Caltech7では、平均的に教師ありベースラインに近いか、わずかに下回る程度で、プライバシー保護設定で競争力のある結果を示す。
• 特徴重要度ベースの情報量の少ない特徴を除去する削減は、多くの場合、精度を保ちつつ通信と計算を削減できる。
• MVLベースの監督（supMVLFL）は非MVLのベースラインより性能を向上させる可能性があり、MMVFLは生データを共有せずに同様の利得を達成できる。