[論文レビュー] Asymmetrical Vertical Federated Learning

Yang Liu, Xiong Zhang+1 more|arXiv (Cornell University)|Apr 16, 2020

Privacy-Preserving Technologies in Data参考文献 10被引用数 31

ひとこと要約

本論文は、サンプルIDのプライバシーを保護する非対称垂直連邦学習（AVFL）を導入し、Pohlig-Hellman 実現を含む非対称 private set intersection（APSI）プロトコルを開発し、Genuine with Dummy（GWD）訓練アプローチを提案し、フェデレーテッドロジスティック回帰を用いて実証しています。

ABSTRACT

Federated learning is a distributed machine learning method that aims to preserve the privacy of sample features and labels. In a federated learning system, ID-based sample alignment approaches are usually applied with few efforts made on the protection of ID privacy. In real-life applications, however, the confidentiality of sample IDs, which are the strongest row identifiers, is also drawing much attention from many participants. To relax their privacy concerns about ID privacy, this paper formally proposes the notion of asymmetrical vertical federated learning and illustrates the way to protect sample IDs. The standard private set intersection protocol is adapted to achieve the asymmetrical ID alignment phase in an asymmetrical vertical federated learning system. Correspondingly, a Pohlig-Hellman realization of the adapted protocol is provided. This paper also presents a genuine with dummy approach to achieving asymmetrical federated model training. To illustrate its application, a federated logistic regression algorithm is provided as an example. Experiments are also made for validating the feasibility of this approach.

研究の動機と目的

• 非対称垂直連邦学習（AVFL）の定義と形式化を行い、対称的な垂直FLと区別する。
• ID整列過程で弱パーティのIDを保護するために private set intersection (PSI) を適用・適合させる。
• Pohlig-Hellman に基づく APSI 実現を提供し、そのセキュリティ特性を分析する。
• 非対称モデル訓練のための Genuine with Dummy (GWD) アプローチを提案する。
• フェデレーテッドロジスティック回帰の例で AVFL を実証し、実験で実現可能性を検証する。

提案手法

• 事前の ID整列前の ID 空間に基づき、垂直FLを対称型と非対称型に正式に分類する。
• 弱パーティが private intersection を保持するように、難読化集合 obf を生成する Asymmetrical PSI (APSI) を導入する。
• Pohlig-Hellman に基づく APSI プロトコルを提供し、obf および交差のセキュリティ特性を証明する。
• 結果を SVFL と同等に保ちつつ非対称性を保持するため、信頼済みコーディネータを伴う Genuine with Dummy (GWD) 訓練フレームワークを提案する。
• GWD を非対称垂直ロジスティック回帰に適用し、暗号化勾配計算と更新を詳述する。

実験結果

リサーチクエスチョン

• RQ1 ID曝露が弱いパーティを含む非対称設定において、垂直連邦学習はサンプルIDのプライバシーをどう保護できるか？
• RQ2 APSI の難読化は、弱パーティへのID漏洩を制限しつつ、学習に必要な結合データを保持できるか？
• RQ3 GWD 訓練アプローチは、標準的な対称垂直FLと同等の性能を達成するか？
• RQ4 安全計算の制約下で、実用的なモデル（例：ロジスティック回帰）における AVFL の性能はどうか？

主な発見

• APFL（APSI）は、弱パーティが真の交差を学習し、強パーティのプライバシーを保持しつつ、交差を難読化してID整列をプライバシー保護で実現する。
• Pohlig-Hellman に基づく APSI プロトコルは、調整可能なプライバシーパラメータ λ を用いて、難読化された交差集合を安全に計算する。
• Genuine with Dummy（GWD）アプローチは、数学的恒等性でダミーサンプルを覆い隠すことにより、非対称訓練が標準の垂直FLと同じ結果をもたらすことを保証する。
• AVLR を用いた MNIST の実験では、λ値が異なる場合でも訓練損失と AUC の推移が類似しており、実現可能性と対称的な設定と同等の性能を示す。