[論文レビュー] Feature Reconstruction Attacks and Countermeasures of DNN training in Vertical Federated Learning

Peng Ye, Zhifeng Jiang+3 more|arXiv (Cornell University)|Oct 13, 2022

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

本稿は、深層ニューラルネットワーク（DNN）を用いた垂直フェデレーテッドラーニング（VFL）における特徴再構成攻撃の最初の体系的分析を提示している。我々は、誠実だが好奇心の強いアクティブ参加者が、探索ベースのアルゴリズムを用いて、受動参加者のバイナリ特徴を効率的に再構成できることを示している。著者らは、攻撃者を架空の特徴に陥れる新たな防御を提案し、モデルの精度を維持したまま、最小限のオーバーヘッドで再構成攻撃を防ぐことを実現している。

ABSTRACT

Federated learning (FL) has increasingly been deployed, in its vertical form, among organizations to facilitate secure collaborative training over siloed data. In vertical FL (VFL), participants hold disjoint features of the same set of sample instances. Among them, only one has labels. This participant, known as the active party, initiates the training and interacts with the other participants, known as the passive parties. Despite the increasing adoption of VFL, it remains largely unknown if and how the active party can extract feature data from the passive party, especially when training deep neural network (DNN) models. This paper makes the first attempt to study the feature security problem of DNN training in VFL. We consider a DNN model partitioned between active and passive parties, where the latter only holds a subset of the input layer and exhibits some categorical features of binary values. Using a reduction from the Exact Cover problem, we prove that reconstructing those binary features is NP-hard. Through analysis, we demonstrate that, unless the feature dimension is exceedingly large, it remains feasible, both theoretically and practically, to launch a reconstruction attack with an efficient search-based algorithm that prevails over current feature protection techniques. To address this problem, we develop a novel feature protection scheme against the reconstruction attack that effectively misleads the search to some pre-specified random values. With an extensive set of experiments, we show that our protection scheme sustains the feature reconstruction attack in various VFL applications at no expense of accuracy loss.

研究の動機と目的

• 垂直フェデレーテッドラーニング（VFL）におけるアクティブ参加者が、DNN学習中に受動参加者のプライベートなバイナリ特徴を再構成できるかどうか、およびどのように再構成できるかを調査すること。
• 攻撃者が補助データや完全なモデル重みを持たない状況下でも、特徴再構成攻撃の理論的妥当性と実用的効率性を分析すること。
• モデル精度を低下させることなくバイナリ特徴を再構成攻撃から保護する、強力な防御メカニズムを設計すること。
• 提案された攻撃と防御の有効性を、多様なDNNアーキテクチャおよび実世界のVFL応用において評価すること。

提案手法

• 特徴再構成問題を、正確被覆問題からの還元によってNP困難問題として形式化し、理論的限界を確立する。
• 入力層の線形性とDNN学習における中間勾配の構造を活用することで、バイナリ特徴を効率的に再構成する探索ベースの攻撃アルゴリズムを提案する。
• マスカレード防御を設計し、モデルの入力層に事前に指定されたランダム値を挿入することで、攻撃者が本物の特徴ではなく架空の特徴を標的にするように誘導する。
• 受動参加者が集約を利用する状況でも、攻撃を中間結果の和に対して適用することで、マルチパーティ設定における安全な集約を適応的に活用する。
• ワンホットエンコーディングされたカテゴリカル特徴に攻撃を適用し、元のカテゴリカル値の再構成を可能にするために、対応するバイナリベクトルを回復する。
• 実世界のデータセット（例：adult, covertype, credit）を用いた広範な実験により防御を検証し、攻撃下でも測定可能な精度損失が生じないことを示している。

実験結果

リサーチクエスチョン

• RQ1 アクティブ参加者のローカルデータと交換された中間結果のみを用いて、VFLにおける受動参加者のバイナリ特徴を再構成することは、理論的および実用的に可能か？
• RQ2 特徴空間の次元数が、特徴再構成攻撃の成功確率と計算コストにどのように影響するか？
• RQ3 本物の特徴の再構成を防ぎつつ、攻撃者を架空の特徴に陥れる防御メカニズムを設計可能か？
• RQ4 複数の受動参加者がモデルに寄与するマルチパーティVFL環境および安全な集約を適用する状況下で、攻撃の性能はどの程度保たれるか？
• RQ5 ワンホットエンコーディングや多値表現を介して、攻撃をカテゴリカル特徴にどの程度拡張可能か？

主な発見

• 特徴再構成攻撃は理論的にはNP困難であるが、正確被覆問題からの還元により、特徴次元が非常に大きくない限り実用的に可能であることが示された。
• 提案された探索ベースの攻撃は、複数のDNNアーキテクチャ（例：MLP, ResNet）および実世界のデータセット（例：adult, covertype）において、高い精度でバイナリ特徴を再構成できた。
• マスカレード防御メカニズムは、攻撃者が本物の特徴を再構成できないように、事前に指定されたランダム値を標的にするように誘導することで、効果的に攻撃を防ぐことができた。この防御は、適応的攻撃に対しても有効であった。
• 防御は、全評価タスクにおいてベースラインと比較して0.1%以内の精度損失に抑えられ、性能への影響はほとんどなかった。
• 受動参加者が安全な集約を利用しても、中間結果の和が依然として露出しているため、攻撃は依然として有効であった。
• モデルカットが非線形活性化関数の後（例：入力層以降）に配置されている場合には、攻撃が失敗する。これは、攻撃に必要な線形性が失われるためである。