[論文レビュー] SAPAG: A Self-Adaptive Privacy Attack From Gradients

Yijue Wang, Jieren Deng+6 more|arXiv (Cornell University)|Sep 14, 2020

Privacy-Preserving Technologies in Data参考文献 24被引用数 8

ひとこと要約

SAPAGは、自己適応的ガウスカーネルを用いて勾配の差を測定することで、分散学習における勾配から訓練データを再構築する自己適応的プライバシー攻撃である。この手法により、さまざまなDNNアーキテクチャ、重み初期化、学習段階において高精度な再構築が可能となり、従来のDLGなどの手法を上回る精度と収束速度を達成する。

ABSTRACT

Distributed learning such as federated learning or collaborative learning enables model training on decentralized data from users and only collects local gradients, where data is processed close to its sources for data privacy. The nature of not centralizing the training data addresses the privacy issue of privacy-sensitive data. Recent studies show that a third party can reconstruct the true training data in the distributed machine learning system through the publicly-shared gradients. However, existing reconstruction attack frameworks lack generalizability on different Deep Neural Network (DNN) architectures and different weight distribution initialization, and can only succeed in the early training phase. To address these limitations, in this paper, we propose a more general privacy attack from gradient, SAPAG, which uses a Gaussian kernel based of gradient difference as a distance measure. Our experiments demonstrate that SAPAG can construct the training data on different DNNs with different weight initializations and on DNNs in any training phases.

研究の動機と目的

• 異なるDNNアーキテクチャや重み初期化に対して一般化性に欠ける既存の勾配ベース再構築攻撃の限界を解消すること。
• 従来の手法が学習の初期段階でのみ成功するのを克服し、モデル学習の任意の段階で再構築を可能にすること。
• ターゲットモデルの固有の勾配分布に動的に適応する強力で自己適応的なフレームワークを構築し、再構築の忠実度を向上させること。
• コンピュータビジョンおよび自然言語処理タスク、特にトランスフォーマーに基づくモデルに対しても攻撃の有効性を実証すること。

提案手法

• ターゲットモデルの勾配分布から動的に学習されるスケーリング因子を有するガウスカーネルを用いた自己適応的勾配距離測定を提案する。
• ダミー入力を繰り返し更新することで、ダミーと実際の訓練データの勾配差を最小化する最適化プロセスを採用し、自己適応的ガウスカーネルを損失指標として使用する。
• 再構築中に安定かつ高速な収束を実現するため、AdamW最適化手法を採用し、モデルアーキテクチャに応じてハイパーパrameterを調整する。
• 単一画像およびバッチ処理された訓練データの再構築に適用し、スケーラビリティと効率性を示す。
• NLPタスクでは、再構築された埋め込み表現に埋め込み重み行列のムーア＝ペネローズ一般逆行列を乗算することで、元のテキストを回復する。
• 重み初期化や学習段階にかかわらず、ResNet、LeNet-5、およびトランスフォーマーに基づくモデルを含む多様なアーキテクチャに適応可能な攻撃フレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベース再構築攻撃は、ResNet やトランスフォーマーのような異なるDNNアーキテクチャに一般化可能か？
• RQ2 さまざまな重み初期化戦略や学習段階においても攻撃は有効に機能するか？
• RQ3 非自己適応的手法（例：DLG）と比較して、自己適応的ガウスカーネルは再構築精度と収束速度をどのように向上させるか？
• RQ4 計算コストの増加なしにバッチ処理された訓練データを効率的に再構築できるか？
• RQ5 NLPモデルではどの程度の粒度でトークン単位のテキストを再構築できるか？また、既存手法と比較して意味的整合性はどのように異なるか？

主な発見

• SAPAGは、異なる重み初期化を用いたResNet-18およびLeNet-5に対し、後期の学習段階でさえも高忠実度の画像再構築を達成した。
• 訓練画像および検証画像の両方において、再構築精度が高く維持されており、学習全体を通じて勾配情報が有用であることが示された。
• 特に深層ネットワーク（例：ResNet-18）において、DLGと比較して収束が早く、再構築精度も高い。
• バッチサイズ8のバッチ処理された訓練データに対しても、単一画像再構築と同等の品質で全8枚の画像を再構築でき、AdamWを用いて20,000イテレーションで収束した。
• トランスフォーマーに基づく言語モデルでは、元のテキストの主要な単語を回復し、意味的に整合性があり意味のある文を生成した。DLGに比べ、単語回復率と意味的忠実度の両面で優れた性能を示した。
• L-BFGS最適化手法は、ResNet-18のような深層ネットワークでは不安定であったが、AdamWはすべての評価対象モデルで一貫して優れた性能を示した。