[論文レビュー] A Hybrid Self-Supervised Learning Framework for Vertical Federated Learning

Yuanqin He, Yan Kang+5 more|arXiv (Cornell University)|Aug 18, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、対応するサンプルのクロスパーティービューと、非対応サンプルのローカルな増幅を活用することで表現学習を向上させる、垂直フェデレーテッドラーニング向けのハイブリッド自己教師あり学習フレームワーク、FedHSSLを提案する。このフレームワークは、優れたプライバシー・ユーティリティトレードオフを達成し、最先端の性能を発揮し、不変特徴の集約によってラベル推論攻撃に対しても耐性を示す。

ABSTRACT

Vertical federated learning (VFL), a variant of Federated Learning (FL), has recently drawn increasing attention as the VFL matches the enterprises' demands of leveraging more valuable features to achieve better model performance. However, conventional VFL methods may run into data deficiency as they exploit only aligned and labeled samples (belonging to different parties), leaving often the majority of unaligned and unlabeled samples unused. The data deficiency hampers the effort of the federation. In this work, we propose a Federated Hybrid Self-Supervised Learning framework, named FedHSSL, that utilizes cross-party views (i.e., dispersed features) of samples aligned among parties and local views (i.e., augmentation) of unaligned samples within each party to improve the representation learning capability of the VFL joint model. FedHSSL further exploits invariant features across parties to boost the performance of the joint model through partial model aggregation. FedHSSL, as a framework, can work with various representative SSL methods. We empirically demonstrate that FedHSSL methods outperform baselines by large margins. We provide an in-depth analysis of FedHSSL regarding label leakage, which is rarely investigated in existing self-supervised VFL works. The experimental results show that, with proper protection, FedHSSL achieves the best privacy-utility trade-off against the state-of-the-art label inference attack compared with baselines. Code is available at \url{https://github.com/jorghyq2016/FedHSSL}.

研究の動機と目的

• 制限されたラベル付きで対応するサンプルが少ないことによる垂直フェデレーテッドラーニング（VFL）におけるデータ不足を解消すること。
• 対応するサンプルのクロスパーティービューと、非対応サンプルのローカルな増幅を活用することで、VFLにおける表現学習を向上させること。
• 複数の参加者間で不変特徴を部分的に集約することで、モデルの汎化性能を向上させること。
• 自己教師ありVFLにおけるラベル漏洩という、先行研究でほとんど検討されていない問題を分析・緩和すること。
• ラベル推論攻撃下で、最先端の手法と比較してより優れたプライバシー・ユーティリティトレードオフを達成すること。

提案手法

• FedHSSLは、対応するサンプルを介して参加者間で共有された特徴（クロスパーティービュー）を用い、対照的自己教師あり学習のポジティブペアとして活用する。
• 各参加者内でローカルなデータ増幅を適用し、非対応サンプルの追加的ビューを生成することで、ローカルな表現学習を強化する。
• フレームワークは部分的なモデル集約を実行し、参加者間で不変特徴を抽出・共有することで、共同モデルの汎化性能を向上させる。
• SimSiam、BYOL、MoCoなどのさまざまな自己教師あり学習手法をプラグインコンポonentとして統合し、柔軟性と相互運用性を実現する。
• プレトレーニング段階とファインチューニング段階の両方で、ラベル漏洩分析を新たに実施し、ISOベースの保護メカニズムを適用してプライバシー・ユーティリティトレードオフを評価する。
• 実世界の4つのデータセット（NUSWIDE、Avazu、BHI、Modelnet）を用いてフレームワークを評価し、アブレーションスタディにより各コンponentの寄与を確認した。

Figure 1: The conventional VFL setting illustrated by two parties. Active party 1 owns a bottom model $f^{1}$ and a top model $g^{1}$ , while passive party 2 owns a bottom model $f^{2}$ . We call the joint VFL model composed of $f^{1}$ , $f^{2}$ , and $g^{1}$ FedSplitNN .

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド自己教師あり学習フレームワークは、垂直フェデレーテッドラーニングにおいて、対応するサンプルと非対応のサンプルの両方を有効に活用し、モデル性能を向上させることができるか？
• RQ2 対応するサンプルのクロスパーティービューを活用する方法と、ローカルな増幅に依存する方法とを比較した場合、表現品質にどのような差が生じるか？
• RQ3 ラベル推論攻撃下で、FedHSSLは既存の自己教師ありVFL手法と比較して、どの程度ラベル漏洩を低減できるか？
• RQ4 対応するサンプルの割合を変化させた場合、FedHSSLにおけるプライバシー・ユーティリティトレードオフにどのような影響が生じるか？
• RQ5 参加者間で不変特徴を部分的に集約することは、共同VFLモデルの性能を著しく向上させるか？

主な発見

• FedHSSLは、4つのデータセットすべてでベースラインを大きく上回り、主タスクの精度が0.03～0.05の範囲で向上した。
• NUSWIDEデータセットでは、40%の対応するサンプルを用いた状況で、FedHSSL-SimSiamが0.833の主タスク精度を達成したのに対し、同じ条件下でFedLocalSimSiamは0.533にとどまり、顕著な性能差が示された。
• キャリブレートド・アベレージド・パフォーマンス（CAP）指標では、FedHSSL-SimSiamがNUSWIDEで0.284、Modelnetで0.349を達成し、FedSplitNNおよびFedLocalSimSiamを上回った。
• BHIデータセットでは、40%の対応するサンプルを用いた場合、FedHSSL-SimSiamが0.788の主タスク精度を達成したのに対し、FedLocalSimSiamは0.756であった。これは、クロスパーティービューの活用による利点を示している。
• プライバシー分析において、FedHSSLはベースラインと比較してより優れたプライバシー・ユーティリティトレードオフを達成した。NUSWIDEで40%の対応するサンプルと強力な保護を適用した場合、ラベル回復精度（MCアタック）は0.443まで低下した。
• アブレーションスタディにより、クロスパーティービュー学習とローカル増幅の両方が性能向上に顕著な貢献をしていることが確認され、併用することで最も高い向上効果が得られた。

Figure 2: Architecture overview of three representative SSL methods. All methods comprise two encoders: an online encoder $f$ , and a target encoder $\tilde{f}$ . Gradients are not computed for the target encoder. For MoCo and BYOL, $\tilde{f}$ is the moving average of $f$ . MoCo has a queue to prov