[論文レビュー] Layer-wise Characterization of Latent Information Leakage in Federated Learning
本稿では、フェデレーテッドラーニングにおけるレイヤー単位の潜在的情報漏洩を定量化する2つの新しい指標—$Π$-インフォーメーションと勾配感受性—を提案する。実験の結果、利用可能なプライバシーのリスク（シャノン相互情報量にとどまらない）は、より深いレイヤーで増加することが示された。これらの指標は脆弱なレイヤーを的確に特定し、プロパティ推定攻撃の成功率と強く相関することが確認され、従来の情報測度を超えたモデルのプライバシー評価に有効であることが裏付けられた。
Training deep neural networks via federated learning allows clients to share, instead of the original data, only the model trained on their data. Prior work has demonstrated that in practice a client's private information, unrelated to the main learning task, can be discovered from the model's gradients, which compromises the promised privacy protection. However, there is still no formal approach for quantifying the leakage of private information via the shared updated model or gradients. In this work, we analyze property inference attacks and define two metrics based on (i) an adaptation of the empirical $\mathcal{V}$-information, and (ii) a sensitivity analysis using Jacobian matrices allowing us to measure changes in the gradients with respect to latent information. We show the applicability of our proposed metrics in localizing private latent information in a layer-wise manner and in two settings where (i) we have or (ii) we do not have knowledge of the attackers' capabilities. We evaluate the proposed metrics for quantifying information leakage on three real-world datasets using three benchmark models.
研究の動機と目的
- フェデレーテッドラーニングにおける潜在的情報漏洩を定量化するための形式的指標の不足に取り組むこと。特に勾配を介した漏洩に焦点を当てる。
- 深層ニューラルネットワークのどのレイヤーがプロパティ推定攻撃（PIA）に対して最も脆弱であるかを特定すること。
- 攻撃に有用な情報（「使える」情報）を捉える指標を開発すること。これは、総合的な情報フローではなく、攻撃に関連する情報に特化したものである。
- 既知および未知の攻撃者能力設定下で、実世界のデータセットとベンチマークモデルを用いて指標を検証すること。
- 従来のシャノン相互情報量では、バックワード伝播におけるプライバシーリスクを説明できないが、本稿で提案する指標はその問題を克服できることを示すこと。
提案手法
- Xuら（2020）が提唱した$Π$-インフォーメーション（「使える」情報）指標を、レイヤー単位のプライバシーリスクを測定するために適応する。これには、攻撃モデルの族が必要となる。
- ヤコビ行列を用いた勾配感受性分析を提案し、潜在的属性の変化が勾配に与える影響を定量化する。この手法は、攻撃モデルの事前知識がない一般の攻撃者に対しても適している。
- DNNの各レイヤーで両方の指標を計算し、性別や人種などの個人情報が勾配にどの程度露わにされているかを特定する。
- 個々のレイヤーから抽出した勾配を用いて訓練されたプロパティ推定攻撃のAUCスコアと相関関係を調べることで、指標の妥当性を検証する。
- LFW、CelebA、PubFigの3つの実データセットと、変分オートエンコーダー付きAlexNet、VGG11Net、FCNetの3つのベンチマークモデルを用いる。
- FedSGDを用いてフェデレーテッドラーニングをシミュレートし、100ラウンドにわたりグローバルモデルのスナップショットを収集。その後、各レイヤー固有の勾配を抽出して指標計算に用いる。
実験結果
リサーチクエスチョン
- RQ1フェデレーテッドラーニングにおける勾配漏洩を通じて、深層ニューラルネットワークのどのレイヤーがプロパティ推定攻撃に対して最も脆弱であるか？
- RQ2$Π$-インフォーメーションと勾配感受性指標は、レイヤー単位で「使える」プライバシーリスクを効果的に定量化できるか？
- RQ3これらの指標は、バックワード伝播におけるプライバシー漏洩を説明するうえで、シャノン相互情報量と比べてどのように優れているか？
- RQ4提案された指標は、プロパティ推定攻撃における実際の攻撃成功度（AUC）とどの程度相関しているか？
- RQ5プライバシー漏洩の脆弱性は、異なるモデルアーキテクチャーやデータセットによって変化するか？
主な発見
- $Π$-インフォーメーション指標は、プライバシーリスクが深いレイヤーで増加することを的確に特定しており、シャノン相互情報量で観察されるデータ処理不等式とは対照的である。
- 勾配感受性分析は、攻撃者能力が不明な状況でも、プライバシー漏洩を検出するための頑健な、攻撃に依存しない手法を提供する。
- すべてのモデルとデータセットにおいて、提案された2つの指標とプロパティ推定攻撃のAUCスコアの間に強い正の相関が観察された。
- 最も顕著なプライバシー漏洩は、特にVGG11NetやFCNetのようなモデルで、最終的な全結合レイヤーに集中しており、ここではより抽象的かつタスク特化された表現が形成されている。
- LFWおよびCelebAデータセットでは、後続のレイヤーからの勾配を用いた攻撃のAUCスコアが0.85を超えることがあり、高い脆弱性を示しており、$Π$-インフォーメーションと感受性の値の高い領域と一致した。
- 均一なレイヤーサイズを持つFCNetモデルでさえも、類似したレイヤー単位の漏洩パターンを示しており、アーキテクチャの種別やレイヤーの位置が、プライバシーリスクを決定づける要因であることが確認された（サイズだけでなく）。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。