[論文レビュー] Privacy Vulnerability of Split Computing to Data-Free Model Inversion Attacks

Xin Dong, Hongxu Yin+4 more|arXiv (Cornell University)|Jul 13, 2021

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、深層ネットワークを浅いブロックに分割し、合成データを用いたサイクル整合性を活用することで、実データや生成的事前知識を一切用いずに、スプリットコンピューティングにおける中間特徴から高精細な入力画像を回復する、データフリーなモデル逆引き攻撃であるDivide-and-Conquer Inversion（DCI）を提案する。ImageNetおよびCelebAにおいて最先端の性能を達成し、42層までの特徴から認識可能な画像を回復可能である。

ABSTRACT

Mobile edge devices see increased demands in deep neural networks (DNNs) inference while suffering from stringent constraints in computing resources. Split computing (SC) emerges as a popular approach to the issue by executing only initial layers on devices and offloading the remaining to the cloud. Prior works usually assume that SC offers privacy benefits as only intermediate features, instead of private data, are shared from devices to the cloud. In this work, we debunk this SC-induced privacy protection by (i) presenting a novel data-free model inversion method and (ii) demonstrating sample inversion where private data from devices can still be leaked with high fidelity from the shared feature even after tens of neural network layers. We propose Divide-and-Conquer Inversion (DCI) which partitions the given deep network into multiple shallow blocks and inverts each block with an inversion method. Additionally, cycle-consistency technique is introduced by re-directing the inverted results back to the model under attack in order to better supervise the training of the inversion modules. In contrast to prior art based on generative priors and computation-intensive optimization in deriving inverted samples, DCI removes the need for real device data and generative priors, and completes inversion with a single quick forward pass over inversion modules. For the first time, we scale data-free and sample-specific inversion to deep architectures and large datasets for both discriminative and generative networks. We perform model inversion attack to ResNet and RepVGG models on ImageNet and SNGAN on CelebA and recover the original input from intermediate features more than 40 layers deep into the network.

研究の動機と目的

• スプリットコンピューティングがデータプライバシーを保護するとする仮定に挑戦し、中間特徴から依然として元のデータが漏洩することを示す。
• 実トレーニングデータや事前学習済み生成モデルに依存しないデータフリーな逆引き手法を開発する。
• ResNet や RepVGG などの深層アーキテクチャおよび ImageNet や CelebA などの大規模データセットに対応したモデル逆引きをスケーリングする。
• スプリットコンピューティング環境におけるデータ漏洩の測定とプライバシーリスクの評価に実用的なツールを提供する。

提案手法

• ターゲットとなる深層ニューラルネットワークを複数の浅いブロックに分割し、階層的な逆引きを可能にする。
• 実際の特徴のバッチ正規化統計と一致するように生成された合成データを用いて、各ブロックの逆引きモジュールを訓練する。
• 出力された逆引き結果を再びターゲットネットワークに通すことで、再帰的逆引きによるサイクル整合性を適用し、逆引きプロセスを精緻化する。
• 実際の特徴統計と合成入力の特徴類似度損失を最適化することで、実データに依存せずに逆引きモジュールを最適化する。
• 単一の順方向パスによって再構成入力を生成するため、高速な推論が可能である。
• 識別的（例：ResNet, RepVGG）および生成的（例：SNGAN）モデルの構造を活用することで、攻撃の一般化を図る。

実験結果

リサーチクエスチョン

• RQ1 実トレーニングデータや事前学習済み生成モデルにアクセスできないデータフリーな環境でも、モデル逆引きが効果的に実行可能か？
• RQ2 40層を超える深層ネットワークの途中特徴から、元の入力データをどの程度回復できるか？
• RQ3 FID や推論速度といった指標において、提案手法DCIは既存の最先端の逆引き攻撃と比べて、どの程度優れているか？
• RQ4 逆引き攻撃を防ぐために特徴にノイズを加えたり、特徴をドロップアウトさせたりする際の、モデルの有用性と防御効果のトレードオフは何か？

主な発見

• DCIは、ImageNet の ResNet および RepVGG において、42層までの特徴から高精細な画像を回復でき、PSNR が 18.83、LPIPS が 0.443 を達成した。
• 本手法は再構成 MSE を 0.013 に抑え、GMI や rMSE といった先行手法（それぞれ 0.104 および 0.082）を著しく上回った。
• DCI の推論時間は 1 サンプルあたり 15ms（1.5×10⁻² s）であり、次に優れた手法（DI）の 1.9×10³ s よりも 100 倍以上高速であった。
• 本手法は生成モデルに対しても一般化可能であり、CelebA における SNGAN が生成したサンプルに対しても、高い知覚的品質で逆引きに成功した。
• ノイズ注入や特徴ドロップアウトの防御策は、モデル精度を最大 20% 割り込み、防御効果は限定的であり、強力な有用性-防御トレードオフが明らかになった。
• サイクル整合性と合成データ生成により、実データや生成的事前知識に依存せずに効果的な逆引きが可能であり、データフリーなモデル逆引きの新たなパラダイムを示した。