[論文レビュー] A Framework for Evaluating Privacy-Utility Trade-off in Vertical Federated Learning

Yan Kang, Jiahuan Luo+4 more|arXiv (Cornell University)|Sep 8, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本論文は、垂直フェデレーテッドラーニング（VFL）におけるプライバシーと有効性のトレードオフを評価する包括的なフレームワークを提案する。このフレームワークは、3つのVFLアルゴリズムにおいて、最先端のプライバシー攻撃に対して6つの保護メカニズムを体系的に評価する。主な発見は、モデルインバージョンおよびラベル推定攻撃は効果的に軽減されるが、モデルコンプリート（MC）攻撃は依然として防御が極めて困難であることが明らかになった。これは、MC攻撃に特化した保護策の必要性を示している。

ABSTRACT

Federated learning (FL) has emerged as a practical solution to tackle data silo issues without compromising user privacy. One of its variants, vertical federated learning (VFL), has recently gained increasing attention as the VFL matches the enterprises' demands of leveraging more valuable features to build better machine learning models while preserving user privacy. Current works in VFL concentrate on developing a specific protection or attack mechanism for a particular VFL algorithm. In this work, we propose an evaluation framework that formulates the privacy-utility evaluation problem. We then use this framework as a guide to comprehensively evaluate a broad range of protection mechanisms against most of the state-of-the-art privacy attacks for three widely deployed VFL algorithms. These evaluations may help FL practitioners select appropriate protection mechanisms given specific requirements. Our evaluation results demonstrate that: the model inversion and most of the label inference attacks can be thwarted by existing protection mechanisms; the model completion (MC) attack is difficult to be prevented, which calls for more advanced MC-targeted protection mechanisms. Based on our evaluation results, we offer concrete advice on improving the privacy-preserving capability of VFL systems. The code is available at https://github.com/yankang18/Attack-Defense-VFL

研究の動機と目的

• 企業での導入に不可欠な、垂直フェデレーテッドラーニング（VFL）におけるプライバシーと有効性のトレードオフの体系的評価の不足を解消すること。
• VFLシステムにおけるプライバシー漏洩と有効性損失の両立を図る標準化された評価問題を定式化すること。
• 広範な保護メカニズムを、広く採用されているVFLアルゴリズムの複数の最先端プライバシー攻撃に対して包括的に評価すること。
• 既存の保護策の限界を特定し、特定の脅威モデルと要件に基づいて適切なメカニズムを選定するための実践的指針を提供すること。
• 将来的な研究および導入を支援するため、新しい攻撃および保護メカニズムの統合を可能にする拡張性のあるホックを備えた再利用可能なコードベースを提供すること。

提案手法

• プライバシー漏洩（εp）と有効性損失（εu）を二重指標として定量化する形式的な評価フレームワークを提案し、VFLシステムの評価に用いる。
• 6つの保護メカニズム—微分プライバシー（DP-L）、隔離（ISO）、勾配クリッピング（GC）、データシャッフル（D-SGD）、MixUp、PRECODE—をフレームワークに統合する。
• 3つのVFLアルゴリズム（VHNN、VSNN、VNN）におけるモデルインバージョン（MI）、ラベル推定（LI）、モデルコンプリート（MC）の3つの主要なプライバシー攻撃に対して、フレームワークを適用して防御を評価する。
• モデルインバージョン攻撃において、プライバシー漏洩の指標としてSSIM、有効性損失の指標として正解率（Acc）をそれぞれ用いる。
• モデル構造漏洩に関するアブレーションスタディを実施し、攻撃者が真のモデル構造を隠した状態で異なるアーキテクチャを用いることで保護を回避できるかどうかを検証する。
• 新しい攻撃および保護メカニズムの統合を可能にするオープンソースのコードベースを実装し、拡張性と再現性を確保する。

実験結果

リサーチクエスチョン

• RQ1 異なるVFLアルゴリズムにおいて、既存の保護メカニズムはプライバシーと有効性のトレードオフにおいてどのように性能を発揮するか？
• RQ2 現在の保護メカニズムは、VFLにおけるモデルインバージョン、ラベル推定、モデルコンプリート攻撃に対してどの程度防御できるか？
• RQ3 真のモデル構造が隠されている状態で、攻撃者が異なるモデルアーキテクチャ（例：畳み込み層ではなく全結合層）を用いる場合、モデルインバージョン攻撃の成功率にどのような影響を与えるか？
• RQ4 実世界のVFL導入において、プライバシー保護とモデル有効性の両立を最もよく果たす保護メカニズムは何か？
• RQ5 現在のVFLシステムにおける主な脆弱性、特にモデルコンプリート攻撃に関しては何か？

主な発見

• モデルインバージョン（MI）およびラベル推定（LI）攻撃は、大多数の保護メカニズムによって効果的に軽減され、PRECODEはVHNNおよびVSNNの両方でほぼゼロに近いプライバシー漏洩（εp = 0.02）を達成している。
• モデルコンプリート（MC）攻撃は、既存の保護策に対して依然として極めて強靭であり、CIFAR10 や NUSWIDE10 といった10クラスのデータセットでは、6つのメカニズムすべてが攻撃を防げていない。
• VSNNでは、すべての保護メカニズムがMC攻撃を防げない（S*PU = 0）ことが判明し、VSNNアーキテクチャがプライバシー保護を著しく弱体化させることを示しており、本番環境での使用は避けるべきである。
• 保護メカニズムの中で、DP-LとISOがMC攻撃に対して最も強い抵抗性を示し、次いでGCとMNが続くが、D-SGDは最も劣っている。
• 攻撃者が異なるモデル構造（例：畳み込み層ではなく全結合層）を用いる場合、モデルインバージョン攻撃の成功率が顕著に低下するため、モデルアーキテクチャの隠蔽は有効な防御戦略であると考えられる。
• より積極的なデータ拡張（例：4サンプルのMixUp）を適用すると有効性損失は増加するが、同時にプライバシー漏洩も減少するため、パrameter制御により実務上のトレードオフを調整可能である。