[論文レビュー] Quantification of the Leakage in Federated Learning

Zhaorui Li, Zhicong Huang+2 more|arXiv (Cornell University)|Oct 12, 2019

Privacy-Preserving Technologies in Data参考文献 12被引用数 13

ひとこと要約

この論文は、フェデレーテッド近似ロジスティック回帰におけるデータ漏洩を定量的に評価し、同期的設定では勾配解析を用いて誠実だが好奇心の強い参加者が他の参加者の二値訓練データを完全に再構築可能であることを示している。非同期的設定では、データの部分的制約しか得られず、バッチサイズと参加者数が増えるほど漏洩リスクが高まる。

ABSTRACT

With the growing emphasis on users' privacy, federated learning has become more and more popular. Many architectures have been raised for a better security. Most architecture work on the assumption that data's gradient could not leak information. However, some work, recently, has shown such gradients may lead to leakage of the training data. In this paper, we discuss the leakage based on a federated approximated logistic regression model and show that such gradient's leakage could leak the complete training data if all elements of the inputs are either 0 or 1.

研究の動機と目的

• 二値入力を用いた近似ロジスティック回帰を用いたフェデレーテッド学習におけるデータ漏洩の程度を分析すること。
• 加法的準同型暗号と近似スキームを適用した場合に、フェデレーテッド学習における勾配が完全な訓練データを漏洩させる可能性があるかどうかを調査すること。
• 複数の参加者を想定した同期的および非同期的学習設定における漏洩の定量的評価。
• バッチサイズや参加者数といったハイパーパrameterが、データ再構築リスクに与える影響を評価すること。
• 勾配ベースのデータ漏洩に対する実用的な防御策を提案すること。

提案手法

• Aonoら（2016）の手法を用いてシグモイド関数を近似することで、準同型暗号を可能にするフェデレーテッド近似ロジスティック回帰モデルを採用する。
• 訓練プロセスを二者間または複数者間の設定としてモデル化し、勾配の集約にセキュアアグリゲーション（Aonoら、2017）を用いる。
• 同期的モードにおける勾配漏洩を分析する際、集約勾配から得られる線形方程式を導出し、入力データ行列の再構築を試みる。
• スパarsityと二値制約を活用して、勾配とモデルパラメータのペアから二値入力データを解くために線形計画法を適用する。
• 非同期モードでは、勾配とモデル更新の積項を含む行列方程式を用いてデータに対する制約を導出し、無限個の解が存在することを示す。
• Intel i5-8500 CPUを用いてPuLPライブラリを用いて再構築時間を実験的に評価し、バッチサイズと特徴次元を変化させる。

実験結果

リサーチクエスチョン

• RQ1 誠実だが好奇心の強い参加者が、二値入力を用いたフェデレーテッド・ロジスティック回帰において、他の参加者の完全な訓練データを再構築可能か？
• RQ2 同期モード（同期的 vs. 非同期的）は、勾配を通じた情報漏洩量にどのように影響するか？
• RQ3 バッチサイズと参加者数の増加が、データ再構築の可能性および完全性に与える影響は何か？
• RQ4 シャッフルや選択的勾配送信といった訓練手順の変更によって、勾配漏洩を軽減できるか？
• RQ5 どのような条件下で一意なデータ再構築が可能となり、どのような条件下で部分的制約しか得られないか？

主な発見

• 同期的設定では、勾配サンプル数が特徴次元を上回る限り、誠実だが好奇心の強い参加者が勾配とモデルパラメータのペアのみを用いて他の参加者の訓練データを完全に再構築可能である。
• 再構築は、勾配式から導出された線形方程式系を解くことで達成され、入力の二値性を活用して整数計画問題に還元する。
• バッチサイズが増加するにつれ、複数の異なるデータバッチが同じ勾配を生成するようになり、再構築にあいまいさが生じる。実験では複数の一致するバッチが観測された。
• 非同期設定では、方程式系に無限個の解が存在するため、データそのものではなく制約のみが推定可能であり、完全な再構築リスクは顕著に低下する。
• 特徴次元とバッチサイズが増加するにつれ、再構築問題を解く時間は急激に増加し、11サンプルと20特徴の条件では1600秒以上を要するなど、大規模データでは計算的に非現実的である。
• データシャッフルや選択的勾配送信といった防御策は、勾配をぼかし、特に非同期設定において漏洩リスクを低減できる。