[論文レビュー] Understanding Training-Data Leakage from Gradients in Neural Networks for Image Classification

Cangxiong Chen, Neill D. F. Campbell|arXiv (Cornell University)|Nov 19, 2021

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本稿では、画像分類用の深層ニューラルネットワークにおける勾配から訓練画像を再構築するための新規手法COPAを提案する。重みと各層における勾配を用いて再構築問題を線形系として定式化することで、特に広い初期畳み込み層を含むアーキテクチャ設計が、データ漏洩リスクを顕著に高めることを明らかにした。これにより、このような攻撃に対するモデルの脆弱性を定量化する新たな指標$ c(M) $が導入された。

ABSTRACT

Federated learning of deep learning models for supervised tasks, e.g. image classification and segmentation, has found many applications: for example in human-in-the-loop tasks such as film post-production where it enables sharing of domain expertise of human artists in an efficient and effective fashion. In many such applications, we need to protect the training data from being leaked when gradients are shared in the training process due to IP or privacy concerns. Recent works have demonstrated that it is possible to reconstruct the training data from gradients for an image-classification model when its architecture is known. However, there is still an incomplete theoretical understanding of the efficacy and failure of such attacks. In this paper, we analyse the source of training-data leakage from gradients. We formulate the problem of training data reconstruction as solving an optimisation problem iteratively for each layer. The layer-wise objective function is primarily defined by weights and gradients from the current layer as well as the output from the reconstruction of the subsequent layer, but it might also involve a 'pull-back' constraint from the preceding layer. Training data can be reconstructed when we solve the problem backward from the output of the network through each layer. Based on this formulation, we are able to attribute the potential leakage of the training data in a deep network to its architecture. We also propose a metric to measure the level of security of a deep learning model against gradient-based attacks on the training data.

研究の動機と目的

• 深層ニューラルネットワークにおけるモデル勾配から訓練データがどのように再構築可能であるかのメカニズムを理解すること。
• 畳み込み層に適用可能な、DLG や R-GAP よりも一般化性の高い、訓練データ漏洩の理論的枠組みを構築すること。
• 共有勾配からの訓練画像再構築リスクを高めるCNN内のアーキテクチャ的要因を同定すること。
• モデルのセキュリティを勾配ベースの再構築攻撃に対して推定する定量的指標$ c(M) $を提案すること。
• アーキテクチャ的選択と漏洩リスクの関係を明確にすることで、プライバシーを配慮した深層学習モデルの設計を支援すること。

提案手法

• COPAは、各層における順方向および逆方向伝播式から導かれる線形系として再構築問題を定式化する。
• 畳み込み重みと勾配の巡回行列表現を用いて、重み、勾配、活性化の間の制約を表現する。
• 全結合層では、重み共有がないため、入力を閉形式で再構築できる。
• 畳み込み層では、ブロック行列$ U^{(i)} $と$ V^{(i)} $を用いて、重みと勾配の制約を二次計画問題に統合する。
• 上位層からの制約を逆伝播して$ Z^{(i)} $と$ \nabla_{Z^{(i)}}J $を推定し、反復的な再構築を可能にする。
• 再構築品質の向上のため、後処理としてTotal Variationノイズ除去処理を適用する。

実験結果

リサーチクエスチョン

• RQ1 CNNのどのようなアーキテクチャ的特性が、勾配から訓練画像の再構築に対して脆弱であるか？
• RQ2 勾配とモデルアーキテクチャのみを用いて、単一の訓練画像の再構築を制約付き最適化問題としてどのように定式化できるか？
• RQ3 重み共有と層固有の次元は、勾配によるデータ漏洩を促進するか、あるいは制限するか、それぞれの役割は何か？
• RQ4 異なる層タイプに跨る勾配ベースのデータ漏洩を説明する統一的な理論的枠組みを構築できるか、特に畳み込み層に注目して。
• RQ5 提案された指標$ c(M) $は、実際の再構築品質とどの程度相関しているか？

主な発見

• COPAは、モデルアーキテクチャとラベル情報のみを用いて、特定のアーキテクチャでは高い忠実度で訓練画像を再構築に成功した。
• 指標$ c(M) $は再構築品質と強く相関しており、$ c(M) = 0 $ であるモデルは完全に再構築可能であることが、CNN3バージョン1および3の実験で確認された。
• CNN3バージョン1（$ c(M) = -2267 $）およびバージョン3（$ c(M) = 0 $）は、バージョン2および4よりも優れた再構築品質を示した。
• バージョン1および3の第1層は、指標に0を寄与していた（$ \operatorname{rank}(U^{(1)}) = |X| $）ことから、その層に最大の漏洩可能性が存在することが示された。
• 深層部からのプルバック制約は再構築品質に限定的な影響しか与えず、初期層のアーキテクチャが漏洩リスクを支配することが示唆された。
• 提案された指標$ c(M) $は、COPA形式の攻撃に対するモデルの脆弱性を、アーキテクチャに基づいて信頼性高く予測するものであり、プライバシー保護を目的とした事前設計を可能にする。